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这 本 教材 是 在 作者 多 年 来 开设 “数值 线性 代数 ”课程 所 用 讲 
义 的 基础 上 经 补充 、 整 理 编写 而 成 . 本 书 自 1995 年 起 在 北京 大 学 
数学 学 院 曾 对 各 届 计 算数 学 专业 的 学 生 讲 授 过 多 次 ， 其 间作 过 几 
次 大 的 修改 ， 其 主要 内 容 包括 线性 代数 方程 组 的 数值 解法 和 矩阵 
特征 值 和 特征 向 量 的 计算 方法 .这 本 教材 在 选材 上 ， 基 于 目前 学 
时 较 少 的 特点 ， 我 们 既 注 重 了 基础 性 和 实用 性 ， 又 注意 了 讲授 所 
需 的 课时 要 求 ， 在 内 容 的 处 理 上 ， 基 于 我 们 系 历来 比较 注重 基础 
理论 这 一 特点 ， 我 们 在 介绍 方法 的 同时 ， 尽 可 能 地 阐明 方法 的 设 
计 思 想 和 理论 依据 ， 并 对 有 关 的 结论 尽 可 能 地 给 出 严格 而 又 简洁 
的 数学 证 明 ， 在 叙述 表达 上 ， 我 们 力求 清晰 易 读 ， 便 于 教学 与 自 
学 . 此外， 在 每 章 后 还 编写 了 较 丰 富 的 练习 题 和 上 机 实验 题 ， 其 
目的 是 为 学 生 提 供 足够 的 练习 和 实践 的 素材 ， 以 便 学 生 复习 、 巩 
固 和 拓 广 课堂 所 学 知识 .根据 我 们 的 教学 实践 ， 讲 授 全 书 内 容 大 
约 需 要 60 学 时 左右 . 

在 这 本 教材 的 编写 过 程 中 ， 曾 得 到 北京 大 学 课程 建设 基金 的 
资助 ， 也 得 到 了 北京 大 学 数学 学 院 科学 与 工程 计算 系 全 体 教师 的 
鼓励 和 帮助 ;在 该 书 出 版 前 夕 ， 北京 大 学 数学 学 院 98 级 计算 数学 
专业 研究 生 李 亚军 和 罗 武 安 曾 仔 细 地 阅读 了 全 部 书稿 并 指正 了 原 
稿 中 所 存在 的 不 少 错误 ， 责 任 编辑 刘 勇 为 本 书 的 出 版 付出 了 辛勤 
的 劳动 ， 在 此 一 并 表示 诚挚 的 谢意 . 
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本 书 是 为 大 学 数学 系 计算 数学 专业 本 科 生 编写 的 “数值 代数 ” 课 教 材 . 
全 书 共 分 8 章 ， 内 容 包括 ， 绪 论 ， 求 解 线性 方程 组 的 Gauss 消去 法 、 平 方 
根 法 、 古 典 迁 代 法 和 苍 梯度 法 ， 线 性 方程 组 的 敏 度 分 析 和 消去 法 的 舍 人 误 
差分 析 ， 求 解 线性 最 小 二 乘 问题 的 正 交 分 解法 ， 求 解答 阵 特征 值 问题 的 条 竹 
E. BORA. Jacobi 方法 、 二 分 法 、 分 而 治之 法 和 QR 方法 。 本 书 在 选材 
上 既 注 重 了 基础 性 和 实用 性 ， 又 注重 反映 该 学 科 的 最 新 进展 ; 在 内 容 的 处 理 
上 ， 在 介绍 方法 的 同时 ， 尽 可 能 地 盖 明 方法 的 设计 思想 和 理论 依据 ， 并 对 有 
关 的 结论 尽 可 能 地 给 出 严格 而 又 简洁 的 数学 证 明 ， 在 叙述 表达 上 ,力求 清晰 
易 读 ， 便 于 教学 与 自学 . 每 章 后 配置 了 较 丰 富 的 练习 题 和 上 机 习题 ， 其 目的 
是 为 学 生 提 供 足 够 的 练习 和 实践 的 素材 ， 以 便 学 生 复习 、 巩 固 和 拓 广 课 汲 所 
学 知识 . 

本 书 可 作为 综合 大 学 、 理 工种 大学、 高 等 师范 院 校 计算 数学 、 应 用 数 
学 、 工 程 计 算 等 专业 本 科 生 的 教材 戟 教学 参考 书 , 也 可 供 从 事 科学 与 工程 计 
算 的 科技 人 员 参 考 . 
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绪 人 论 


自从 1946 年 第 一 台电 子 计 算 机 问世 以 来 ,经 过 半 个 世纪 的 发 
展 ,使 得 科学 与 工程 计算 已 经 成 为 本 世纪 最 重要 的 科学 进步 之 一 . 
科学 计算 已 与 理论 研究 及 科学 试验 并 列 成 为 当今 世界 科学 活动 的 
三 种 主要 方式 . 在 许多 科学 与 工程 领域 如 果 没 有 计算 就 不 可 能 有 
第 一 流 的 研究 成 果 . 为 众多 的 科学 与 工程 问题 提供 计算 方法 ， 提 
高 计算 的 可 靠 性 、 有 效 性 和 精确 性 ， 便 是 科学 与 工程 计算 这 一 领 
域 的 主要 研究 内 容 . 

数值 线性 代数 又 称 矩 阵 计算 ， 它 是 科学 与 工程 计算 的 核心 . 
可 以 豪 不 夸张 地 讲 ， 大 部 分 科学 与 工程 问题 最 终 都 要 归结 为 一 个 
矩阵 计算 问题 , 其 中 具有 挑战 性 的 问题 是 大 规模 矩阵 计算 问题 . 数 
值 线性 代数 研究 的 主要 内 容 就 是 ， 如 何 针对 各 类 科学 与 工程 问题 
所 提出 的 矩阵 计算 问题 的 特点 ， 设 计 出 相应 的 快速 可 靠 的 算法 . 

1， 数 值 线性 代数 的 基本 问题 

数值 线性 代数 主要 包括 如 下 三 大 问题 : 

(1) 求解 线性 方程 组 的 问题 ， 即 给 定 n 阶 非 奇异 矩阵 4 #l n 
维 向 量 b, 求 一 个 n 维 向 量 z 使 得 

Ar =b; 

(2) 线性 最 小 二 乘 问题 ， 即 给 定 m x n 矩阵 4. 和 rn 维 向 量 b, 

求 一 个 nn 维 向 量 z 使 得 
| 4z ~ b||2 = min{llAy — ble : y € R”}; 

(3) 矩阵 特征 值 问题 ， 即 给 定 一 个 n 阶 方 阵 A, 求 它 的 部 分 或 

全 部 特征 值 以 及 对 应 的 特征 向 量 . 


除 此 之 外 ， 还 有 一 些 其 他 问题 也 是 十 分 重要 和 基本 的 ， 如 约 
束 最 小 二 乘 问题 、 完 全 最 小 二 乘 和 问题 、 抢 阵 方程 的 求解 问题 , 矩阵 
函数 的 计算 问题 、 广 义 特征 值 问 题 、 非 线性 特征 值 问 题 、 特 征 值 
反问 题 、 奇 异 值 分 解 的 计算 问题 等 .特别 是 奇异 值 分 解 的 计算 ， 
由 于 其 应 用 十 分 广泛 ， 目 前 有 的 教科 书 已 经 将 其 列 为 数值 线性 代 
数 的 第 四 大 问题 . 


2， 研 究 数 值 方法 的 必要 性 


众所周知 ， 线 性 方程 组 、 线 性 最 小 二 乘 问 题 和 甜 阵 特征 值 问 
题 的 数学 理论 已 经 发 展 的 相当 完善 了 7. 但 是 这 些 理论 上 非常 漂亮 
的 结果 应 用 于 实际 计算 时 往往 是 行 不 通 的 . 例如 ， 线 性 方程 组 的 
Cramer 法 则 表明 : WMR n 阶 线性 方程 组 Ar = 的 系数 矩阵 4 的 
行列 式 不 为 等 ， 则 此 方程 组 有 唯一 的 解 ， 并 且 其 解 可 以 通过 系数 
表示 为 : 


Ti t=1,2,...,n, 


di 

T’ 
其 中 d = det A, d; = det hi, 这 里 hi 是 将 4 的 第 i 列 换 为 b 而 得 
到 的 矩阵 … 这 一 结果 理论 上 是 非常 漂亮 的 ， 它 把 线性 方程 组 的 求 
解 问题 归结 为 计算 ”+ 1 个 m 阶 行列 式 的 问题 ， 而 对 于 行列 式 的 
HA, 理论 上 又 有 著名 的 Laplace 展开 定理 : 

d = det A = aj Ain + ai2Aiz 十 … 十 ain4in， 
其 中 Aj 表示 元 素 aij 的 代数 余子 式 . 按照 这 一 定理 我 们 就 可 从 
二 阶 行列 式 出 发 逐步 递 推 地 计算 出 任意 阶 行列 式 的 值 ， 这 样 ， 理 
论 上 我 们 就 有 了 一 种 非常 漂亮 的 求解 线性 方程 组 的 方法 .然而 我 
们 做 一 简单 的 计算 就 会 发 现 ， 由 于 这 一 方法 的 运算 量 大 的 惊人 ， 
以 至 于 完全 不 能 用 于 实际 计算 . 
设计 算 k 阶 行列 式 所 需要 的 乘法 运算 的 次 数 为 m, 则 容易 推 

出 


mk = k + kmk-i, 


于 是 ， 我 们 有 
Mn =n +nm,-i =n +n[(n —1) +(n -1m 2] = 

=n +n(n-1)+n(n-—1)(n—2)+---+n(n-1)---3-2 

> n!. 
这 样 ， 利 用 Cramer 法 则 和 Laplace 展开 定理 来 求解 一 个 n 阶 线 
性 方程 组 ， 所 需要 的 乘法 运算 的 次 数 就 大 于 

(n + 1)n! = (n+ 1)!. 

因此 ,车 在 一 个 百 亿 次 计算 机 上 求解 一 个 25 阶 线性 方程 组 ， 则 至 


少 需 要 26! 4.0329 x 1026 
1010 x 3600 x 24 x 365 ~ 3.1536 x 1017 ~ 13 亿 年 

它 远 远 超出 目前 所 了 解 的 人 类 文明 历史 ! 然而 如 果 改 用 下 章 将 要 
介绍 的 消 元 法 ， 则 可 在 不 到 一 秒 钟 之 内 即 可 完成 这 一 计算 任务 . 

再 如 对 矩阵 特征 值 问题 , 理论 上 有 著名 的 Jordan 分 解 定理 . 
这 一 定理 告诉 我 们 ， 只 要 知道 了 一 个 矩阵 的 Jordan 分 解 ， 我 们 就 
可 很 清楚 地 知道 其 所 有 与 特征 值 有 关 的 信息 ， 如 一 个 特征 值 的 几 
何 重 数 、 代 数 重 数 以 及 对 应 的 特征 向 量 等 ， 然 而 这 一 分 解 在 实际 
计算 时 是 难以 实现 的 ,这 是 因为 矩阵 的 Jordan 分 解 是 十 分 不 稳定 
的 ( 即 矩阵 元 素 有 微小 的 变化 ， 其 Jordan 分 解 往往 就 会 发 生 很 大 
的 变化 ), 而 且 其 变换 矩阵 常常 是 非常 病态 的 ， 事 实 上 ， 真 正 用 于 
实际 计算 的 而 是 另 一 具有 良好 数值 性 态 的 Schur 分 解 . 

因此 ， 如 何 利用 计算 机 快速 有 效 地 求解 矩阵 计算 的 三 类 基本 、 
问题 并 不 是 一 件 容易 的 事 ， 而 是 有 许多 理论 和 实际 问题 值得 深入 
细致 地 研究 的 ， 经 过 这 半 个 世纪 来 众多 数值 代数 专家 的 不 断 探索 
和 研究 ， 目 前 有 关 的 方法 和 理论 已 经 发 展 的 相对 较为 成 熟 ， 得 到 
了 一 大 批 十 分 深 亮 的 实用 算法 ， 但 仍 有 不 少 问题 有 待 进一步 研究 
解决 ， 特 别 是 大 规模 矩阵 计算 问题 仍然 是 目前 科学 与 工程 计算 研 
究 的 核心 问题 之 一 . 


3， 和 矩阵 分 解 是 设计 算法 的 主要 技巧 


对 于 一 个 给 定 的 矩阵 计算 问题 ， 我 们 研究 的 首要 问题 就 是 ， 
如 何 根据 给 定 问题 的 特点 ， 设 计 出 求解 这 一 问题 的 有 效 的 计算 方 
法 . 设计 算法 的 基本 思想 就 是 设法 将 一 个 一 般 的 矩阵 计算 问题 转 
化 为 一 个 或 几 个 易于 求解 的 特殊 问题 ， 而 通常 完成 这 一 转化 任务 
的 最 主要 的 技巧 就 是 矩阵 分 解 ， 即 将 一 个 给 定 的 矩阵 分 解 为 几 个 
特殊 类 型 的 矩阵 的 乘积 ， 例 如 ， 如 下 的 两 个 三 角形 方程 组 


ll 


Un-lin-l Un-ln 
Unn Yn Cn 

是 容易 求解 的 ， 对 于 一 般 的 线性 方程 组 Ar = b, 我 们 就 可 首先 将 
矩阵 4 作 分 解 PA = LU, 其 中 己 是 排列 方 阵 ， 工 是 下 三 角 和 矩阵 ， 
U 是 上 三 角 矩 阵 ， 然 后 再 通过 求解 两 个 三 角形 方程 组 

Ly = Pb 和 Ur=y 
来 得 到 原 方 程 组 的 解 . 这 样 ， 就 将 如 何 求解 线性 方程 组 的 问题 转 
化 为 如 何 实现 上 述 矩 阵 分 解 的 问题 ， 这 正 是 下 一 章 将 要 介绍 的 主 
要 内 容 . 


4， 敏 度 分 析 与 误 末 分 析 


由 于 误差 的 存在 ， 用 计算 机 做 数值 计算 所 得 到 的 结果 很 少 是 
精确 的 . 通常 误差 主要 有 两 个 来 源 : 一 是 原始 数据 本 身 就 有 误差， 
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这 是 由 测量 或 观察 的 不 准确 所 引起 的 ， 二 是 由 计算 过 程 产 生 的 误 
3. 因此 ， 当 我 们 用 某 种 算法 求解 某 一 矩阵 计算 问题 得 到 计算 解 
之 后 ， 自 然 要 问 ， 计 算 解 与 真 解 相 差 多 少 ? 这 就 是 计算 的 精确 性 
问题 .要 回答 这 一 问题 ， 需 要 做 两 个 方面 的 理论 分 析 : 敏 度 分 析 
与 误差 分 析 . 
敏 度 分 析 就 是 研究 计算 问题 的 原始 数据 有 微小 的 变化 将 会 引 
起 解 的 多 大 变化 .为 了 氢 述 简单 起 见 ， 假 定 我 们 所 考虑 的 计算 问 
题 是 : 给 定 自 变量 z, 计算 函数 值 f(z). 对 于 这 一 计算 问题 ， 敏 度 
分 析 就 是 研究 z 有 微小 的 变化 之 后 函数 值 将 会 发 生 多 大 变化 . 当 
然 ， 最 理想 的 做 法 ， 应 该 是 首先 找到 自 变量 的 改变 量 与 函数 值 的 
改变 量 之 间 的 依赖 关系 .但 实际 上 ， 这 是 相当 困难 的 ， 有 时 即使 
碰巧 找到 了 这 种 依赖 关系 ， 常 常 由 于 其 太 复杂 而 变 得 毫 无 实用 价 
E. 因此 ， 通 常 的 做 法 是 在 lizl /lzl 很 小 的 前 担 下， 设法 寻找 一 
个 尽 可 能 小 的 正 数 c(z) 使 得 
lz + óz) — f(z) zl 
|f (2)| |z] 
这 样 ， c(z) 的 大 小 就 在 一 定 程 度 上 反映 了 自 变 量 的 微小 变化 对 
函数 值 的 影响 程度 . 因此 ， 我 们 称 数 c(z) 为 f 在 z 点 的 条 件数 . 
当 e(z) 很 大 时 ， 自 变量 的 微小 变化 就 有 可 能 引起 函数 值 的 巨大 变 
化 ， 因 而 称 此 种 情况 为 在 = 点 是 病态 的 ; 反之 ， 当 c(z) 较 小 时 
我 们 就 说 f 在 z KEREK. 
这 里 需 强调 的 一 点 是 ， 一 个 计算 问题 是 否 病态 是 计算 问题 本 
身 的 固有 属性 ， 与 所 使 用 的 计算 方法 没有 关系 ， 
此 外 ， 对 于 刚才 所 讨论 的 计算 问题 ， 容 易 推 出 ， 当 f 在 z 点 
可 微 时 ， 有 
~ |f' (z)ll|z] 


e(z) = . 
If(z)! 
但 对 于 一 般 的 计算 问题 要 给 出 条 件数 的 一 个 较为 合适 的 估计 是 相 
当 困 难 的 . 关于 三 类 最 基本 的 矩阵 计算 问题 的 条 件数 将 在 本 书 以 
后 的 有 关 章 节 中 加 以 介绍 . 


< e(z) 
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大 家 知道 ， 计 算 机 只 能 表示 有 限 个 数 ， 即 计算 机 的 精度 是 有 
限 的 因此， 分析 舍 入 误差 对 一 个 算法 的 计算 结果 是 否 影响 很 大 
就 显得 尤为 重要 ， 它 是 衡量 一 个 算法 优 劣 的 重要 标志 .即使 一 个 
十 分 良 态 的 计算 问题 ， 由 于 使 用 的 计算 方法 不 当 ， 也 可 使 计算 结 
果 面 貌 全 非 而 变 得 毫 无 用 处 . 

现在 我 们 再 以 刚才 所 讨论 的 计算 问题 为 例 来 说 明 误差 分 析 的 
要 点 . 假设 用 某 种 算法 计算 得 到 的 函数 f 在 z 点 的 函数 值 是 当 
然 由 于 舍 入 误差 的 影响 我 们 不 能 期 望 与 /(z) 相等 , 但 是 我 们 通 
过 对 每 步 具 体 运算 做 误差 分 析 可 以 证 明 存在 5z 满足 

$=f(z+6z), lóz| < |zle， 
其 中 e 是 一 个 与 计算 机 精度 和 算法 有 关 的 正 数 .这 种 把 计算 结果 
归结 为 原始 数据 经 扰动 之 后 的 精确 结果 的 误差 分 析 方 法 称 作 向 后 
REGIE. 

很 显然 ，e 越 小 , 说 明 合 入 误差 对 算法 的 影响 越 小 . 因此 ， 当 
< 较 小 时 ， 我们 就 说 该 算法 是 数值 稳定 的 ， 否 则 ,就 说 该 算法 是 数 
值 不 稳定 的 .一 个 算法 是 否 数值 稳定 是 算法 本 身 的 固有 属性 ， 与 
计算 问题 是 否 病态 无 关 . 

当 我 们 对 给 定 的 计算 问题 作 了 敏 度 分 析 ， 并 且 对 所 用 的 算法 
作 了 误差 分 析 之 后 ， 我 们 就 可 给 出 计算 结果 的 精度 估计 ， 

一 f(z f(z + óz) — f(z ór 
-上 O Sc) ene 
由 此 可 见 ， 计 算 结果 是 否 可 靠 ， 依 赖 于 计算 问题 是 否 病态 和 所 用 
算法 是 否 数值 稳定 ， 只 有 使 用 数值 稳定 的 算法 去 求解 良 态 的 计算 
问题 ， 才 能 期 望 得 到 可 靠 的 计算 结果 ! 


5， 算 法 复杂 性 与 收敛 速度 


算法 的 快慢 是 衡量 算法 优 劣 的 又 一 重要 标志 ， 算 法 大 致 可 分 
为 两 类 ， 一 类 是 直接 法 ， 是 指 在 没有 误差 的 情况 下 可 在 有 限 步 得 
到 计算 问题 之 精确 解 的 算法 ， 另 一 类 是 迭代 法 ， 是 指 采取 逐次 晕 
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近 的 方法 来 通 近 问题 的 精确 解 ， 而 在 任意 有 限 步 都 不 能 得 到 其 精 
确 解 的 算法 .对 于 直接 法 ， 其 运算 量 的 大 小 通常 可 作为 其 快慢 的 
一 个 主要 标志 . 算法 复杂 性 分 析 就 是 计算 或 估计 算法 的 运算 量 . 
90 年 代 之 前 的 数值 线性 代数 教科 书 中 ， 计 算 运 算 量 时 通常 只 计算 
乘除 运算 的 次 数 ， 这 是 因为 当初 的 计算 机 作 乘 除 运算 要 比 加 减 运 
算 慢 的 缘故 . 进入 90 年 代 以 后 ， 由 于 计算 机 的 运算 速度 大 幅度 的 
提高 ， 加 减 运算 与 乘除 运算 的 速度 已 相差 甚 徽 ， 因 此 现在 是 将 一 
个 算法 的 所 有 运算 次 数 的 总 和 作为 运算 量 的 ， 其 次 ， 假 定 某 一 算 
法 共 需 作 3n + 20n? + 50 次 加 、 减 、 乘 、 除 运算 ， 则 通常 是 略 去 
其 低 阶 项 而 说 该 算法 的 运算 量 为 3n. 

这 里 需 指出 的 是 ， 虽 然 运算 量 在 一 定 程度 上 反映 了 算法 的 快 
慢 程 度 ， 但 又 不 能 完全 依据 运算 量 来 判定 一 个 算法 的 快慢 ， 这 是 
因为 现代 计算 机 的 运算 速度 远 远 高 于 数据 的 传输 速度 ， 而 这 使 得 
一 个 算法 实际 运行 的 快慢 在 很 大 程度 上 依赖 于 该 算法 软件 实现 后 
数据 传输 量 的 大 小 . 

而 对 于 和 迭代 法 ， 除 了 对 每 步 所 需 的 运算 量 进行 分 析 外 ， 还 需 
对 其 收敛 速度 进行 分 析 . 假定 某 一 迭代 法 产生 的 序列 {zk} 满足 

|lz| — zl < elz- — zl, k=1,2,..., 
其 中 0 < c < 1, 则 称 该 算法 是 线性 收敛 的 ， 而 且 < 越 小 越 好 ; # 
满足 
lze — zl < cllzk-1 — zl, k=1,2,..., 

则 称 该 算法 是 平方 收敛 的 (有 时 亦 称 二 次 收敛 的 ), 其 中 c 是 一 个 
不 依赖 于 大 的 正 数 ， 显 然 ， 平 方 收 剑 算 法 要 比 线性 收敛 的 算法 快 
的 多 . . 

6. 算法 的 软件 实现 与 现行 数值 线性 代数 软件 包 
| 要 将 一 个 数值 方法 应 用 于 实际 计算 ， 还 需 在 计算 机 上 编制 出 
可 行 的 软件 才 行 ， 从 数值 方法 到 软件 实现 这 一 过 程 并 非 一 个 简单 


的 编码 过 程 ， 成 功 的 软件 实现 ， 不 仅 需 要 软件 编制 者 对 算法 的 数 
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学 理论 有 深刻 的 理解 ， 而 且 还 需要 其 对 所 用 的 计算 机 的 内 部 结构 
有 深入 的 了 解 ， 并 具有 丰富 的 实际 计算 经 验 ， 目前 数值 线性 代数 
大 部 分 基本 算法 都 已 收入 现在 最 流行 的 两 个 软件 包 LAPACK 和 
MATLAB 中 . 这 两 个 软件 包 是 由 数 十 位 专家 经 过 几 十 年 的 不 懈 地 
探索 和 不 断 地 改进 而 逐步 形成 的 . 

LAPACK 是 英文 Linear Algebra PACKage 的 缩写 ， 它 包含 了 
数值 线性 代数 常用 算法 用 C 语言 和 Fortran 语言 编制 的 通用 子 程 
序 ， 它 是 免费 向 公众 提供 的 ， 其 网 址 是 


World Wilde Web: http://wwwu.netlib.org/index.html 
Anonymous ftp: ftp://ftp.netlib.org 


MATLAB 是 英文 MATrix LABoratory 的 缩写 , 是 一 个 需要 花 
钱 购 买 而 并 非 免费 提供 的 软件 ， 它 是 将 数值 线性 代数 常用 算法 和 
基本 运算 作为 内 部 函数 提供 的 ， 用 户 使 用 起 来 十 分 方便 . 例如， 
计算 两 个 矩阵 A 和 B 的 乘积 ， 只 需 输 入 C=A*B 即 可 ; 要 解 线性 方 
程 组 Ar = b, 只 需 输入 x=A\b 即 可 . 但 速度 要 比 LAPACK 慢 一 
些 . 最 新 版 的 MATLAB 有 五 大 通用 功能 : 数值 计算 功能 、 符 号 运 
算 功能 、 数 据 可 视 化 功能 、 数 据 图 形 文字 统一 处 理 功 能 和 建 模 仿 
真 可 视 化 功能 .由 于 这 五 大 功能 在 命题 构思 、 模 型 建立 、 仿 真 研 
究 、 假 想 验证 、 数 据 处 理 和 论文 撰写 等 各 个 环节 中 的 非凡 能 力 ， 
使 得 MATLAB 在 线性 代数 、 和 矩阵 分 析 、 数 值 计算 、 优 化 设计 、 数 
理 统计 、 随 机 信号 分 析 、 信 号 和 图 像 处 理 、 控 制 理论 分 析 和 系统 
设计 、 建 模 和 仿真 、 财 政 金融 等 众多 领域 的 理论 研究 和 工程 设计 
中 得 到 了 广泛 的 应 用 . 


7， 符 号 说 明 


本 书 将 用 大 写字 母 (如 A, B, C, A, A 等 ) 来 表示 和 矩阵 ， 而 用 
对 应 的 带 下 标的 小 写字 母 (如 aij, bijs ci;, 和 ij, ó; 等 ) 来 表示 对 应 
的 矩阵 的 元 束 ; 向 量 将 用 小 写 英文 字母 (如 z, y, z, c, h, g 等 ) 来 表 
示 ; 而 小 写 希 腊 字母 (如 a, 8, p, z 等 ) 用 来 表示 实数 或 复数 ， 了 表 
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示 单 位 矩阵 ， 其 阶 数 根据 上 下 文 来 确定 ，ei 表示 7 的 第 i 列 ; 由 了 
经 过 行列 交换 所 得 到 的 矩阵 称 作 排列 方 阵 , 若 P 是 一 个 n 阶 排列 
方 阵 ， 则 已 = [enen ein] BP iiz.. ,in 是 由 1,2,...,n 
重新 排列 得 到 的 .对 给 定 的 向 量 z, 我 们 常用 z; 或 rli) ERRE 
的 第 ; 个 分 量 . 

我 们 用 R 表示 全 体 m xm 实 和 矩阵 组 成 的 向 量 空 间 ，n 维 
实 向 量 的 全 体 组 成 的 向 量 空 间 将 用 R" 来 表示 ; 对 应 的 复 空间 将 
分 别 用 C™*" 和 C" 来 表示 . 

对 于 一 个 给 定 的 方 阵 A, 我 们 用 tr 4 、 rank 4 和 det A 分 别 
来 表示 4 的 迹 、 秩 和 行列 式 ， 而 当 4 非 奇 异 时 ， 用 A 来 表示 
它 的 道 矩 阵 . 对 于 任意 的 mm x n E A, 我 们 用 AT 和 4* 分 别 来 
表示 4 的 转 置 和 共 辊 转 置 ， 而 用 |4| 来 表示 4 的 元 素 取 绝 对 值 之 
后 得 到 的 矩阵 . 有 时 为 了 符号 简单 起 见 ， 我 们 常用 AT 来 表示 A 
的 逆 和 矩阵 的 转 置 ， 即 A-T = (4-1)T. 

设 ol ,am € C”, 我 们 用 span {a1,... ,am} 来 表示 由 向 量 
ai,- ,am 的 所 有 线性 组 合 所 构成 的 线性 子 空间 . 

为 了 使 算法 的 表述 更 加 简单 明了 ， 我 们 在 算法 的 叙述 中 将 采 
用 一 些 类 似 于 MATLAB 的 记号 . ilij 将 表示 从 i 到 j 步 长 为 
i 的 数 的 全 体 ， 当 ! = 1 时 ， 通 常 简 记 为 i :7. 如 10 : -1 :8 表示 
10, 、9 、8 这 三 个 数 , 而 3 : 5, 则 表示 3 、4 、5 这 三 个 数 . A4(i,7) 
将 表示 和 矩阵 4 的 (i, j) 位 置 上 的 元 素 ;，A(i, :) 和 4(: , j) 分 别 用 
来 表示 矩阵 4 的 第 i 行 和 第 7 列 ， 4( iz, k) 表示 A 的 第 上 
列 的 第 个 元 素 到 第 ?2 个 元 素 所 组 成 的 列 向 量 , 而 Alk, ji: j2) 
表示 4 的 第 上 行 的 第 ji 个 元 素 到 第 jo 个 元 素 所 组 成 的 行 向 量 ; 
A(k :1，p:9) 表示 由 矩阵 4 的 第 上 行 到 1 行 和 第 p 列 到 q 列 的 
所 有 元 素 按 原 来 的 顺序 所 组 成 的 (I — k + 1) x (q —p+ 1) 子 矩阵 ; 
例如 ， 假 定 

z = (1, 2, 3, 4, 5, 6, 7, 8), 


则 有 
z(4:6) = (4, 5, 6). 


Bin, Æ 
1 2 3 4 
4=|5 6 7 8|， 
9 10 11 12 

则 有 


4(2, 3) = 7, A(2 , :) = (5, 6, 7, 8), 


aissol 中 a29 f: 
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第 一 章 ”线性 方程 组 的 直接 解法 


如 何 利用 电子 计算 机 来 快速 、 有 效 地 求解 线性 方程 组 的 问题 
是 数值 线性 代数 研究 的 核心 问题 ， 而 且 也 是 目前 仍 在 继续 研究 的 
重大 课题 之 一 .这 是 因为 各 种 各 样 的 科学 与 工程 问题 往往 最 终 都 
要 归结 为 一 个 线性 方程 组 的 求解 问题 . 例如 结构 分 析 、 网 络 分 析 、 
大 地 测量 、 数 据 分 析 、 最 优化 及 非 线 性 方程 组 和 微分 方程 组 数值 
解 等 ， 都 常 遇 到 线性 方程 组 的 求解 问题 . 
线性 方程 组 的 求解 问题 是 一 个 古老 的 数学 问题 . 早 在 中 国 古 
代 的 《 九 章 算术 》 中 ,就 已 详细 地 载 述 了 解 线 性 方程 组 的 消 元 法 . 
到 了 19 世纪 初 , 西方 也 有 了 Gauss 消去 法 . 然而 求解 未 知 数 多 的 
大 型 线性 方程 组 则 是 在 20 世纪 中 叶 电子 计算 机 问世 后 才 成 为 可 
能 . 
求解 线性 方程 组 的 数值 方法 大 体 上 可 分 为 直接 法 和 和 迭代 法 两 
大 类 . 直接 法 是 指 在 没有 舍 入 误差 的 情况 下 经 过 有 限 次 运算 可 求 
得 方程 组 的 精确 解 的 方法 ， 因此， 直接 法 又 称 为 精确 法 . 迭代 法 
则 是 采取 逐次 台 近 的 方法 ， 亦 即 从 一 个 初始 向 量 出 发 ， 按 照 一 定 
的 计算 格式 ， 构 造 一 个 向 量 的 无 穷 序 列 ， 其 极限 才 是 方程 组 的 精 
确 解 ， 只 经 过 有 限 次 运算 得 不 到 精确 解 . 
这 一 章 ， 我 们 将 主要 介绍 解 线性 方程 组 的 一 类 最 基本 的 直接 
法 -一 Gauss 消去 法 . Gauss 消去 法 是 目前 求解 中 小 规模 线性 方程 
组 ( 即 阶 数 不 要 太 高 ， 例 如 不 超过 1000) 最 常用 的 方法 ， 它 一 般 用 
于 系数 矩阵 稠密 ( 即 和 矩阵 的 绝 大 多 数 元 素 都 是 非 零 的 ) 而 又 没有 任 
何 特殊 结构 的 线性 方程 组 .如 若 系 数 和 矩阵 具有 某 种 特殊 形式 ， 则 
为 了 尽 可 能 地 减少 计算 量 与 存储 量 ， 需 采用 其 他 专门 的 方法 来 求 
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解 ， 限 于 篇 幅 ， 本 书 不 涉及 这 些 专 门 的 方法 . 


81.1 三 角形 方程 组 和 三 角 分 解 


1.1.1 三 角形 方程 组 的 解法 

由 于 三 角形 方程 组 简单 易于 求解 ， 而 且 它 又 是 用 分 解 方法 解 
一 般 线 性 方程 组 的 基础 ， 所 以 我 们 首先 考虑 这 种 特殊 类 型 的 线性 
方程 组 的 解法 . 

先 考虑 下 三 角形 方程 组 

Ly = b, (1.1.1) 

这 里 六 = (b, bn)! € R” 是 已 知 的 ，y = (n... ya) € R" 
是 未 知 的 ， 而 工 = [j] 8 R” 是 已 知 的 非 奇异 下 三 角 阵 ， 即 


Di l2 


L=] lı ls l3 ; 


la la la + lan 
而 且 lu #0,i=1,2,..., n. 由 方程 组 (1.1.1) 的 第 一 个 方程 
yi =b 


得 
y 三 /1; 
再 由 第 二 个 方程 
layı + 122gy2 = b2 
可 得 f 


y2 = (bz — lun) /122. 
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方程 
layi + hayz +: + lii—1Yi-1 + li = bi 
求 出 


Yi = (b; 一 E tyy) t 
j=1 


这 种 解 方程 组 (1.1.1) 的 方法 称 之 为 前 代 法 . 如 果 在 实际 计算 时 将 
得 到 的 % 就 存放 在 b 所 用 的 存储 单元 内 ， 并 适当 地 调整 一 下 运 
算 次 序 ， 可 得 如 下 算法 : 


算法 1.1.1 ( 解 下 三 角形 方程 组 ， 前 代 法 ) 
forj=1:n-1 

b(j) = b(j)/ L(g,) 

b(j+ 1:m)=b(j+1:mn)—-b(0)L(j+ 1:n,j) 
end 


b(n) = b(n)/ L(n,n) 


该 算法 所 需要 的 加 、 减 、 乘 、 除 运算 的 次 数 为 
2i — 1) =2x—— -n =n 
5 ) = + 十 1) ， 


i=l 


即 该 算法 的 运算 量 为 n. 
再 考虑 上 三 角形 方程 组 

Uz =y, (1.1.2) 
其 中 U = [uj] e R" 是 非 奇 异 上 三 角 阵 ， 即 uj = 0, i > j, 而 
H ug #0, i=1,2,... 0, Y = (1).… ya). € R” ED NIB, z = 
(zu Zn)" € R" 是 未 知 的 . 这 一 方程 组 可 以 用 所 谓 的 回 代 法 
解 之 , 即 从 方程 组 的 最 后 一 个 方程 出 发 依次 求 出 Tn, zn-1,… ,Z1， 
其 计算 公式 为 。 

= {yi— Uij£j)/ uu, i=n,n-1,...,1; 
(w E wasi)/ 
其 具体 算法 如 下 : 
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算法 1.1.2 ( 解 上 三 角形 方程 组 : 回 代 法 ) 
for j=n:—1:2 

yl) = y(j)/UG, j) 

y :j-1)=y(1:j-1)-y(U(1:j-1,5) 
end 


y0) = y(1)/U(1,1) 


显然 ， 该 算法 的 运算 量 亦 为 n. 
对 于 一 般 的 线性 方程 组 
Ar = b, (1.1.3) 


其 中 Aec R” ”和 be R" 是 已 知 的 ，z € R" 是 未 知 的 ， 如 果 我 
们 能 够 将 4 分 解 为 。 4 = LU, 即 一 个 下 三 角 阵 工 与 一 个 上 三 角 
BE U 的 乘积 ， 那 么 原 方程 组 的 解 x 便 可 由 下 面 两 步 得 到 : 

(1) 用 前 代 法 解 Ly = b f8 y; 

(2) 用 回 代 法 解 Uz = v 得 z. 

所 以 对 于 求解 一 般 的 线性 方程 组 来 说 ， 关 键 是 如 何 将 4 分 解 
为 一 个 下 三 角 阵 工 与 一 个 上 三 角 阵 U 的 乘积 , 这 正 是 我 们 本 节 的 
中 心 任务 . 


1.1.2 Gauss 变换 


欲 把 一 个 给 定 的 矩阵 4 分 解 为 一 个 下 三 角 阵 工 与 一 个 上 三 
AEU 的 乘积 ， 最 自然 的 做 法 便 是 通过 一 系列 的 初等 变换 ， 逐 步 
将 4 约 化 为 一 个 上 三 角 阵 ， 而 又 能 保证 这 些 变换 的 乘积 是 一 个 下 
三 角 和 矩阵 ， 这 可 归结 为 ， 对 于 一 个 任意 给 定 的 向 量 z e R", 找 一 
个 尽 可 能 简单 的 下 三 角 抢 阵 , 使 > 经 这 一 矩阵 作用 之 后 的 第 上 十 1 
至 第 nn 个 分 量 均 为 零 ， 能够 完成 这 一 任务 的 最 简单 的 下 三 角 和 矩阵 
便 是 如 下 形式 的 初等 下 三 角 阵 


Le =I— et, 
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lk = (0,- `. ,0, Uk+ik, n nk), 


L; = 
一 AH 1 


-lnk 1 
这 种 类 型 的 初等 下 三 角 和 矩阵 称 作 Gauss 变换 ， 而 称 向 量 L, 为 
Gauss 向 量 . 
对 于 一 个 给 定 的 向 量 r= (zi, ... En)? € R”, 我 们 有 


了 KZ = (zi,... Thy YET 一 TREEHAIK Zn 一 zlng), 
由 此 立即 可 知 ， 只 要 取 
l=, i=k+l,...,n, 
Tk 


便 有 
Liz = (£1, ,Th,0,... 0) 
当然 ， 这 里 我 们 要 求 zk Z 0. 
Gauss 变换 L, 具有 许多 良好 的 性 质 . 例如 ,， 它 的 逆 是 很 容易 
求 的 .因为 ef4 = 0, 所 以 
(I — Wel)(T + ikel) = I — erkek = I, 
即 
Ly! =1+ Irek. 
Eim, W A e R"*", WA 
LkA = (I — lke )A = A — l (ek A), 
即 Gauss 变换 作用 于 一 个 矩阵 就 相当 于 对 该 矩阵 进行 秩 1 修正 . 
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1.1.3 三 角 分 解 的 计算 


假定 4e R”, 三角 分 解 是 指 分 解 4 = LU, 其 中 LE R"*" 
为 下 三 角 和 矩阵 ， U < R"" 为 上 三 角 和 矩阵 ， 基 于 分 解 式 的 这 种 表 
达 方 式 ， 有 时 亦 称 三 角 分 解 为 LU 分 解 . 

下 面 我 们 来 讨论 怎样 利用 Gauss 变换 来 实现 4 的 三 角 分 解 . 
先 来 考察 一 个 简单 的 例子 ， 设 


我 们 首先 计算 一 个 Gauss 变换 L, 使 得 L, A 的 第 1 列 的 后 两 个 元 
KA o 容易 算出 这 样 的 L, 为 


1 0 0 
Li = 一 2 1 0 3 
-3 0 1 


且 有 
1 4 7 
7i4=|10 -3 -6 
0 -6 -11 


然后 再 计算 Gauss 变换 L, 使 得 [2(L14) 的 第 2 列 的 最 后 一 个 元 
KA 0, 即 取 


便 有 
1 4 7 
Lz (L. A) = 0 — -6 。 


0 0 1 
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对 于 一 般 的 7 MER A, 在 一 定 条 件 下 , 我 们 也 可 以 计算 nl 
个 Gauss 变换 [1,...,Ln-1, 使 得 Ln-1:…L 上 14 为 上 三 角 和 矩阵 . 事实 
L, ië AG) = A, 并 假定 已 求 出 k-1 个 Gauss 变换 L,,... ,Lk_1 € 
R" (k < n) 使 得 
_ AU A 
A | 0 |]. 
其 中 AW? E k-1B EZfBE, AG 为 
(k—1) (k—1) 
Gkk ` Akn 
An” = | 


aD al 


如 果 aÉ ¿Z 0, 则 我 们 就 又 可 以 确定 一 个 Gauss 变换 Le, 使 得 
Lx AG1-1) 中 第 k 列 的 最 后 n-k 个 元 素 为 0， 由 前 面 所 介绍 的 
Gauss 变换 可 知 ， 这 样 的 L, 应 为 


Lk = I — lef, 


(k-1) 
lk = (0,... ,0,lk41,ks-- -© sink)", la = En i=k+1,....n. 
akk 


Hy akh 2 0, 故 L 是 唯一 确定 的 ， 对 于 这 样 确定 的 Le, 我 们 
有 

A® = Ly 44-D = | A Ai? | k | 

0 AÑ | n-k 

k n-k 
其 中 A) 是 上 阶 上 三 角 阵 ， 从 k= 1 出 发 ， 如 此 进行 n 一 1 步 ， 
RARER A-D 即 为 我 们 所 要 求 的 上 三 角形 式 ， 现 令 

L= (L.-L, aD), U = AC, 
则 有 4 = LU. 这样 只 要 证 明了 L 是 下 三 角 和 矩阵 ， 则 我 们 就 已 经 
实现 了 4 的 三 角 分 解 ， 事实 上 ， 根 据 Gaus 变换 的 特点 ， 我 们 很 
容易 证 明基 是 一 个 mxm 的 单位 下 三 角 阵 ， 即 工 是 一 个 对 角 元 均 
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为 1 的 下 三 角 和 矩阵 ， 注 意 到 对 j <i 有 efl,= 0, 便 有 
工厂 La 
= (T+liel)(T + il2el):..(T + ln_1el_) 
=I+hel +...+In_iel1, 
即 工具 有 形式 


L=I+[l,l,: ,ln-1,0)= | i1 l3 1 


la ln2 lng © 1 
由 此 可 见 ， 工 不 仅 是 一 个 单位 下 三 角 和 矩阵 ， 而 且 是 非常 容易 得 到 
的 . 

这 种 计算 三 角 分 解 的 方法 称 作 Gauss 消去 法 . 实际 计算 时 ， 
我 们 还 需 弄 清 的 是 ， 当 Lk 作用 于 AD) Jr, A(k-1) 的 哪些 元 素 
作 了 改变 ? 以 及 作 了 怎样 的 改变 ? 此 外 ， L, 及 AG) 的 元 素 又 是 
怎样 存储 起 来 的 ? 因为 

A% = L A(k-1) = (I — IF e1)A(k-1) = 4 — Ipet A(k=1), 
并 注意 到 eg 4 -0 是 A(*-D WA k ITAR i 的 前 上 个 分 量 为 0， 
我 们 即 知 AG) 和 AF-D 的 前 大 行 元 素 相同 ， 而 i 
at =0, i=k+l1,... ,n, 
a) = aD) 一 lak”, i, J=k+1,... n. 

AG) 与 L, 的 存储 是 这 样 考虑 的 44- 中 第 上 +1 TEE n 
行 的 元 素 在 计算 出 A) 以 后 不 再 有 用 , 故 可 以 用 新 计算 出 的 AG) 
的 元 素 冲 掉 A-D 中 相应 位 置 上 的 元 素 . 此 外 ,由 于 AG) 的 第 天 
列 对 角 元 以 下 的 元 素 af) (i=k+1, n) IF, TREM, Kh 
中 非 零 元 即 可 存储 在 这 些 位 置 上 .例如 一 个 4x4 的 矩阵 4 在 经 
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过 二 步 消 元 后 ， 其 形式 为 
(0) (0) (0) (0) 
G, Go Gs Q14 
m a) a ag 


li ls a?) a) 


la la at at 

综合 上 面 的 讨论 ， 可 得 如 下 算法 : 

算法 1.1.3 (计算 三 角 分 解 。 Gauss 消去 法 ) 

fork=1:n-1 

A(k+1:n,k) = A(k+1:n,k)/A(k, k) 

A(k+1:n,k+l1:n) = A(k+1:n,k+1:n) 
—A(k+1:n,k)A(k,k + 1 : n) 

end : 


该 算法 所 需要 的 加 、 减 、 乘 、 除 运算 次 数 为 


Sle- 月 + am, = HED UD 


= sn + O(n?), 

即 该 算法 的 运算 量 为 Zn. 

通常 称 Guass 消去 过 程 中 的 ak- YEN. BR, MENS 
ak-D = 1,..., n — 1) 均 不 为 零 时 ， 算 法 1.1.3 才能 进行 到 底 . 
那么 自然 要 问 : 给 定 的 矩阵 4 满足 什么 条 件 ， 才 能 保证 所 有 主 元 
均 不 为 零 ? 这 一 问题 可 由 下 面 定理 回答 . 

定理 1.1.1 EFG (i= 1,... ,上 ) 均 不 为 零 的 充分 与 必要 
条 件 是 A 的 i 阶 顺 序 主子 阵 A (i = 1,.…. ,k) 都 是 非 奇 异 的 . 

证 明 ”对 上 用 归纳 法 ， 当 k=1 时， A =., 定理 显然 成 
立 . 假定 定理 直至 上 一 1 成立 , 下 面 只 需 证 明 SE 41,… ,Ak-1 非 
奇异 ， 则 A 非 奇异 的 充 要 条 件 是 a 1 # 0” 即 可 . 由 归纳 法 假 
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EA, aD 0, i=1,...,k-1. 因此 ，Guass 消去 过 程 至 少 可 
进行 上 - 1 步 ， 即 可 得 到 上 -1 个 Gauss 变换 Li,... ,Le-1, 使 得 
人 ago 
A-D = Lpa LA = | o A= | ; (1.1.4) 
其 中 AU 是 对 角 元 为 a (i = 1,... ,k — 1) 的 上 三 角 阵 . 由 
此 可 知 AG-1) 的 大 阶 嘎 序 主子 阵 有 如 下 形式 
40 * 
ag 
车 将 Lio, Le- 的 大 阶 顺 序 主 子 阵 分 别 记 为 (Li)k,... , (Lk-1)k， 
则 由 (1.1.4) 及 下 三 角 阵 的 性 质 可 知 
(k—1) 


(Lk—-i)k(Lk-2)k'': (Li) Ak = | ü (k=1) | : 
akk 


注意 到 L 是 单位 下 三 角 阵 ， 由 此 立即 得 到 
det Àk = ak» det Atl) 
从 而 有 A 非 奇 异 当 且 仅 当 at” #0. " 


将 定理 1.1.1 与 前 面 的 讨论 相 结合 , 就 得 到 了 如 下 一 个 矩阵 的 
三 角 分 解 存在 的 充分 条 件 . 


定理 1.1.2 车 A c R"*" 的 顺序 主子 阵 A € R***(k = 
1,… ,n 一 1) KERR, 则 存在 唯一 的 单位 下 三 角 阵 LE R” A 
LZA U eR" 使 得 4 = LU. 


$1.2” 选 主 元 三 角 分 解 


大 家 知道 ,对 于 方程 组 Ar =b 来 说 ， 只 要 4 非 奇 异 , 方程 组 
就 存在 唯一 的 解 ， 然而 ， 4 非 奇异 并 不 能 保证 其 顺序 主子 阵 A, 
(i= 1,...,n — 1) 均 非 奇异 . 因此 ， A 非 奇 异 并 不 能 保证 Gauss 
消去 过 程 能 够 进行 到 底 . 这 样 ， 我 们 的 问题 自然 便 是， 怎样 修改 
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算法 1.1.3 才能 使 其 适应 于 非 奇异 矩阵 呢 ? 此 外 ， 在 算法 1.1.3 中 
计算 la 时 , 位 于 分 母 上 的 主 元 虽 不 为 零 但 很 小 时 ， 是否 会 对 算法 
产生 不 良 影响 呢 ? 若 有 影响 ， 该 如 何 解 决 ? 下 面 来 看 一 个 例子 . 


例 1.2.1. 假定 我 们 是 在 3 位 10 进 制 的 浮 点 数 系 下 来 解 方程 


| MBES 
1.00 2.00 | | z2 3.00 
用 算法 1.1.3 得 
|; h [o a] 
从 而 得 该 方程 组 的 计算 解 为 = (0, T, 这 与 精确 解 
z = (1.002..., 0.998...yT 
相差 甚 远 . 


上 例 中 的 问题 是 由 小 主 元 引起 的 ， 当 然 ， 如 果 用 更 高 精度 的 
计算 机 来 计算 , 可 使 计算 解 的 精度 提高 . 然而 仅 以 提高 计算 机 的 精 
度 的 方法 去 解决 这 个 问题 是 不 明智 的 ， 因 为 计算 机 的 精度 毕 况 是 
有 限 的 . 事实 上 ， 我 们 可 以 用 下 面 的 方法 来 避免 小 主 元 的 出 现 . 

如 果 交 换 例 1.2.1 的 第 一 个 与 第 二 个 方程 的 位 置 , 原 方 程 组 变 


ex el-e] 


再 用 算法 1.1.3 upo MER, 可 得 


¿= 0 a s | 
0.001 1 0 100 
进而 得 原 方程 组 的 计算 解 为 = (1.00, 1.00)7, 这 已 与 方程 组 的 精 
确 解 相 当 接近 了 . 


这 种 交换 方程 顺序 的 方法 其 实 并 不 是 解决 小 主 元 问题 的 唯一 
方法 ， 当 然 亦 可 通过 交换 未 知 向 量 z 的 分 量 在 方程 组 中 的 顺序 来 
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解决 .这样 ， 如 果 出 现 小 的 主 元， 我 们 就 可 以 选择 一 个 合适 的 元 
素 ， 交 换 4 的 行 和 列 ， 将 此 元 素 换 到 主 元 位 置 上 ， 例 如 在 第 大 步 
中 ， 若 a) 太 小 ， 并 且 选 择 al o 作为 主 元 ， 则 我 们 需要 
先 交 换 第 k 行 和 第 p 行 ， 再 交换 第 上 列 和 第 q 列 ， 从 而 将 a (kD) 
BE (k, k) 位 置 上 ， 消 去 过 程 用 新 的 主 元 继续 进行 ， 为 了 不 打 乱 
在 消去 过 程 中 已 经 引入 的 零 元 素 的 分 布 ， 所 选 的 alt O 的 位 置 应 
该 满足 p,q > k. 

为 了 下 面 作 述 简单 起 见 ， 我 们 引入 初等 置换 矩阵 Ip, 它 是 单 
位 矩阵 了 的 第 p 列 与 第 g 列 交换 所 得 到 的 矩阵 ， 即 


Ipa = [e1,.--,€p-1, €q; Ept1):.. Eg 1 Ep Egt1,...,En]- 
用 Ip ERER A, 便 交换 了 4 的 第 p 行 与 第 q T, M Ip 右 乘 
A 便 交 换 了 A 的 第 p 列 与 第 q 列 . 


现在 我 们 来 看 结合 选 主 元 的 消去 过 程 的 具体 做 法 . 假定 消去 
过 程 已 经 进行 了 上 一 1 步 ， 即 已 经 确定 了 有 一 1 个 Gaus 变换 
Li,- Lr € R?” 和 2(k — 1) 个 初等 置换 矩阵 
P,,... Pro e R?” 和 Q... Q -IE R”, 
使 得 
A®-D = DR e lP AQI Qt 


一 天 一 
_ | 4 Al 
|o Aap’ 


其 中 ALD yy k-1Br EZ fgRE, AG 为 


k—1 (k-1) 
aki )... Gk. 
大 一 1 
4 ) = : : 
akd ak 


那么 ， 第 上 步 是 先 在 4 从 -0 中 选择 尽 可 能 大 的 主 元 ， 即 选 


lal-D| = max(|a 2 | : k < š, j < n). 
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如 果 aED = 0, 则 说 明 4 的 秩 为 上 -1, 消去 过 程 结 束 ， 否 则 ， 
交换 AF-D 0038 k 行 与 第 p 行 以 及 第 上 列 与 q 列 . 记 交 换 后 的 
A 为 


—(k—1 ~(k—1 
aO ke 
Xk—1 . 
45; ) = : : 
atd .aD 
然后 再 计算 Gauss 变换 L, = 了 一 ei, 其 中 
_ _ _  z(k-1) 
lk = (0 0, 有 有， la = Sik y, i=k+1l, n. 
akk 
这 样 便 有 
(k) 40) ] k 
AG) = LiP AFD OL _ Aji Aiz , 
0 Al) n-k 
k 多 一 天 


其 中 A) 是 大 阶 上 三 角 阵 ， P, = o Qr = Irq E€ Rnxn. 
设 全 主 元 Gauss 消去 法 进行 到 > 步 终止 ， 则 我 们 得 到 初等 变 
换 阵 Pe, Q, 和 初等 下 三 角 阵 Le k = 1,... ,r, 使 得 
L,P,--- LP, AQ, -Q = U 
为 上 三 角 和 矩阵 . 令 
Q = Qı Qr, 
P = P,- P, 
L= P(L,P,-.-.. LR) 
则 有 
PAQ = LU. (1.2.1) 
可 以 证 明 这 样 得 到 的 上 是 一 个 单位 下 三 角 阵 ， 而 且 它 的 第 大 列 对 
角 线 以 下 的 元 素 是 由 构成 L; 的 Gauss 向 量 1, 的 分 量 作 相应 的 排 
列 而 得 到 的 . 因此 ， 工 的 所 有 元 素 之 模 均 不 会 超过 1. 
事实 上 ， 由 于 
L= P,- PaL] PaL3' -- P,L7t, 
23 


所 以 ， 若 定义 
L® = Lrl, L® = P Lk-DP L Ol k=2,...r, 
WA L = LG), 而 且 可 应 用 归纳 法 证 明 LO 具有 如 下 的 形状 


L) o 
L® = w k=l. (1.2.2) 
L In-k 


其 中 LU) 是 所 有 元 素 之 模 均 小 于 1 的 大 阶 单位 下 三 角 和 矩阵 ， 工 多 
是 所 有 元 素 之 模 均 小 于 1 的 (n — k) x k MERE, In- 表示 n 一 上 
阶 单位 矩阵 . 

由 ZG) = L 和 L, 的 定义 立即 知道 上 = 1 时 (1.2.2) 自然 成 
立 . 现 假定 对 上 一 1 已 证 (1.2.2) 成 立 , 注意 到 P, = Ip MH p > k, 
便 有 


rk k-1 1 LHD 0 
L. ) = PL( ) P, Lr | FU- a: | > (1.2.3) 
21 k 
其 中 TEO 是 由 LCD 交换 了 第 1 行 和 第 p — k + 1 行 而 得 到 


的 ， 而 
1 


ers 1 
Lili=| Ut 0 1 ， 
La 0 0 1 

H |l | = EEP aD] < 1, 故 (1.2.3) 表明 (1.2.2) 对 大 亦 成 
立 ， 于 是 ， 由 归纳 法 原理 知 ， (1.2.2) F k = 1 ….r 都 成 立 ， 从 
而 上 = LO 是 一 个 所 有 元 素 之 模 均 小 于 1 的 m x n 单位 下 三 角 矩 
阵 . 

此 外 ，(1.2.3) 亦 给 出 了 从 L) = L) 出 发 逐步 构造 工 = 工人 站 
的 方法 . 
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通常 我 们 称 (1.2.1) 为 4 的 全 主 元 三 角 分 解 ， 从 (1.2.1) 可 以 
看 出 ， 对 4 作 全 主 元 的 三 角 分 解 ， 就 相当 于 先 对 4 作 好 所 有 的 行 
列 交换 得 PAQ, 然后 再 对 PAQ 应 用 不 选 主 元 的 Gauss 消去 法 进 
行 三 角 分 解 . 虽说 这 种 做 法 并 不 能 在 实际 中 进行 (因为 我 们 是 在 计 
算 过 程 中 逐步 得 到 每 个 主 元 ， 从 而 知道 它们 是 否 很 小 或 为 零 ), R 
而 在 理论 上 ， 这 是 有 用 的 .因此 我 们 将 其 总 结 为 如 下 定理 . 


定理 1.2.1 设 A € R"*", 则 存在 排列 矩阵 P, Q e R", 
以 及 单位 下 三 角 阵 工 e R"*" 和 上 三 角 阵 U eR", 使 得 
PAQ = LU, 
而 且 工 的 所 有 元 素 均 满足 |l;| < 1, U 的 非 零 对 角 元 的 个 数 正好 
等 于 矩阵 4 的 秩 . 
以 上 讨论 可 总 结 为 如 下 算法 : 
算法 1.2.1 (计算 全 主 元 三 角 分 解 : 全 主 元 Gauss 消去 法 ) 
fork=1:n-1 
确定 p, q (k < p, q < n) 使 得 
14(p,g = max{|A(i j)| : i=k:n, j=k:n} 
A(k,1:m) H A(p,1:n) (X$ k ITA p 行 ) 
A(1:n,k) e A(1:n,q) (交换 大 列 和 9 列 ) 
u(k)=p (记录 置换 矩阵 P.) 
v(k) = 9 (记录 置换 矩阵 Q.) 
if A(k, k) Z 0 
A(k+1:n,k)= A(k+1:n,k)/A(k, k) 
A(k+1:nk+l1:n)=A(k+1:n,k+1:mn) 
—A(k+1:n k)A(k,k+1:n) 
else 
stop (EHAR) 


end 
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end Yoga HI 


虽然 全 主 元 Gauss 消去 法 弥补 了 不 选 主 元 的 Gauss 消去 法 的 
不 足 ， 但 是 选 主 元 付出 的 代价 也 是 极其 昂贵 的 ， 因 为 在 4 非 奇异 
的 情况 下 ， 选 主 元 必须 进 生 


Sa- k+ 1)? = s" + O(n2) 


次 两 两 元 素 之 间 的 比较 和 相应 应 的 逻辑 判断 , 这 在 计算 机 上 是 相当 费 
时 的 . 为 了 尽 可 能 地 减少 所 进行 的 比较 ， 人 们 提出 了 列 主 元 Gauss 
消去 法 . 这 种 方法 与 全 主 元 Guass 消去 法 的 差别 仅 在 于 ， 第 让 步 
只 在 A U 的 第 大 列 上 寻找 模 最 大 元 ， 即 选 
lake |= D] : k <i <n). 
这 样 , 第 大 步 就 不 需 进 行列 交换 只 进行 行 交 换 即 可 , 即 有 P, = L, 
而 Qk = L. 而 且 从 前 面 的 讨论 容易 看 出 ， 只 要 4 非 奇 异 ， 则 列 主 
元 Gauss 消去 法 就 可 进行 到 底 ， 最 终 得 到 分 解 
PA = LU, 


max{ att 


其 中 
U= ACD, 
P = Pa- 0 P, 
L = P(Ln-1 Pa e aP) E. 

这 一 分 解 通常 称 为 列 主 元 三 角 分 解 ， 其 具体 算法 如 下 . 
算法 1.2.2 (计算 列 主 元 三 角 分 解 : 列 主 元 Gauss 消去 法 ) 
fork=1:m-1 

确定 p (k < p < n) 使 得 
|A(p,k)| = max{|A(i,k)| : i= k: n) 
A(k,1:n) e A(p,1:n) (ZE k ITM p fT) 
u(k)=p (记录 和 置换 矩阵 P,) 
if A(k,k) #0 
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A(k+1:n,k) = A(k + 1:n,k)/A(k, k) 
A(k+1:nik+1:n) = A(k+1:n,k+1:n) 
—A(k+1:n,k)A(k,k + 1: m) 
else 
stop (矩阵 奇异 ) 
end 


end 


注意 ， 这 一 算法 与 算法 1.1.3 一 样 ， 也 是 将 LAU 分 别 存储 
在 4 的 下 三 角 部 分 和 上 三 角 部 分 . 

设 4e R"*" 非 奇异 ， 那 么 利用 列 主 元 Gauss 消去 法 求解 线 
性 方程 组 Ar = b 的 计算 过 程 就 可 按 如 下 步 又 进行 : 

(1) 用 算法 1.2.2 计算 4 的 列 主 元 LU 分 解 : PA = LU; 
(2) 用 算法 1.1.1 解 下 三 角形 方程 组 Ly = Pb; 
(3) 用 算法 1.1.2 解 上 三 角形 方程 组 Uz = v. 

“实际 计算 的 经 验 和 理论 分 析 的 结果 表明 ， 列 主 元 Gauss 消去 
法 与 全 主 元 Gauss 消去 法 在 数值 稳定 性 方面 完全 可 以 媲美 ， 但 它 
的 运算 量 却 大 为 减少 ， 因 此 ， 它 受到 人 们 的 青睐 ， 成 为 目前 求解 
中 小 型 稠密 线性 方程 组 最 受 欢 迎 的 方法 之 一 . 
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平方 根 法 又 叫 Cholesky 分 解法 ， 是 求解 对 称 正定 线性 方程 组 
最 常用 的 方法 之 一 . f 

大 家 已 经 知道 ， 对 于 一 般 方 阵 ， 为 了 消除 LU 分 解 的 局 限 性 
和 误差 的 过 分 积累 ， 而 采用 了 选 主 元 的 方法 ， 但 对 于 对 称 正定 抵 
阵 而 言 ， 选 主 元 却 是 完全 不 必要 的 . 

设 4e R” 是 对 称 正定 的 , BI AWE AT = A f H. zT Az > 
0 对 一 切 的 非 零 向 量 ze R" 成 立 ， 此 时 ， 由 定理 1.1.2 容易 推出 
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定理 1.3.1 (Cholesky 分 解 定理 ) 若 4e R"*" 对 称 正 定 ， 
则 存在 一 个 对 角 元 均 为 正 数 的 下 三 角 阵 工 e R”, 使 得 
A= LL. 
上 式 中 的 工 称 作 A 的 Cholesky NF. 


证 明 ”由 于 4 对 称 正定 蕴涵 着 4 的 全 部 主子 阵 均 正定 ， 因 
此 ， 由 定理 1.1.2 知 ， 存 在 一 个 单位 下 三 角 阵 了 和 一 个 上 三 角 算 
阵 U, 使 4= ZU. 令 
D = diag (11,... ,Unn), Ü = D'U, 

则 有 

UTpiT= AT = A = LDÜ, 
从 而 

LTD-1 = D-10-TLD. 

上 式 左边 是 一 个 单位 上 三 角 和 矩阵 ， 而 右边 是 一 个 下 三 角 和 矩阵 ， 故 
两 边 均 为 单位 矩阵 . FÆ, D = FT, 从 而 4 = LDLT. 由 此 即 知 ， 
D 的 对 角 元 均 为 正 数 ， 令 

L = Ldiag (yun, ... ,Vinn), 
则 A= LILT, B L WHAT lu = VE > 0, i= 1,... ,n. D 


因此 ， 若 线性 方程 组 (1.1.3) 的 系数 矩阵 是 对 称 正定 的 ， 则 我 
们 自然 可 按 如 下 的 步骤 求 其 解 ， 

(1) 求 4 的 Cholesky 分 解 A= LLT; 

(2) 求解 Ly = b 得 y; 

(3) 求解 LTz = y 得 z. 


当然 ， 由 定理 1.3.1 的 证 明 可 知 ， Cholesky 分 解 可 用 不 选 主 
元 的 Gauss 消去 法 来 实现 . 然而， 更 简单 而 实用 的 方法 是 通过 直 
接 比较 4 = LLT 两 边 的 对 应 元 素来 计算 工 的 ， 设 
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L= 
La ln2 `. lan 
比较 4 = LLT 两 边 对 应 的 元 素 ， 得 关系 式 
3 
aij =Ý lipljp 1<ji<is<n. (1.3.1) 
p=1 


KA, Har =, f8 
li = Van. 
再 由 ai = lula, 得 
la =aa/flu, i=1,...,n. 
IE48483] Y SS BE L 第 一 列 元 素 ， 假定 已 经 算出 工 的 前 一 1 列 
TK, h 


k 
2 
Akk = >ə lkp 
p=1 


得 
kl 1 
lkk = (au 一 x) . (1.3.2) 
p=1 
再 由 
k—1 
Qik = 》 liplkp 十 LAK， (= k+1l,... ,n 
p=1 
得 


k-1 
lig = (on 一 二 in fla, i=k+1,... ,n. (1.3.3) 
p=1 


这 样 便 又 求 出 了 工 的 第 大 列 元 素 . 这 种 方法 称 为 平方 根 法 . 
当然 ， 亦 可 按 行 来 逐次 计算 L. 由 于 4 的 元 素 ay 被 用 来 计算 出 
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L; 以 后 不 再 使 用 ， 所 以 可 将 工 的 元 素 存储 在 4 的 对 应 位 置 上 . 
这 样 我 们 就 得 到 如 下 算法 . 


算法 1.3.1 (计算 Cholesky 分 解 : 平方 根 法 ) 
for k=1:n 
A(k,k) = /A(k,k) 
A(k+1:n,k) = A(k+1:n,k)/A(k, k) 
forj=k+1:n 
AG :n,j) = Al :n,j) — A(G : n,k) AC, k) 
end 


end 


容易 算出 ， 该 算法 的 运算 量 为 5ns, 仅 是 Gauss 消去 法 运算 
量 的 一 半 . 
由 公式 (1.3.2) 可 以 看 出 , 用 平方 根 法 解 对 称 正定 线性 方程 组 
时 ， 计 算 工 的 对 角 元 素 L 需 用 到 开 方 运算 . 为 了 避免 开 方 , 我 们 
可 求 4 之 如 下 形式 的 分 解 
A= LDLT, (1.3.4) 
其 中 工 是 单位 下 三 角 和 矩阵 ，D 是 对 角 元 素 均 为 正 数 的 对 角 和 矩阵 . 
这 一 分 解 称 作 LDLT 分 解 ， 是 Cholesky 分 解 的 变形 ， 比 较 (1.3.4) 
两 边 对 应 元 素 ， 得， 
aij = 》 likdkljk + lijdj, 1<j<i<n. 
k=1 
由 此 可 得 确定 ti; 和 d, 的 计算 公式 如 下 : 
vk = dilir, k=1,..,j-1, 


j—1 


dj = ajj — 3 Ukvk, 


k=1 


L; = (ai - law) /a i=J+],... ,n, 
k=1 


这 里 7 = 1 2,.… n. 上 述 这 种 确定 4 的 分 解 的 方法 称 作 改 进 的 平 
方 根 方法 . 实际 计算 时 ， 是 将 工 的 严格 下 三 角 元 素 存 储 在 4 的 对 
应 位 置 上 , 而 将 D 的 对 角 元 存储 在 4 的 对 应 的 对 角 位 置 上 . 这 样 
我 们 就 得 到 如 下 的 实用 算法 . 
算法 1.3.2 (计算 LDLT 分 解 : 改进 的 平方 根 法 ) 
forj=1:mnm 
for 1=1:7—1 
v(i) = A(j, i) A(i, i) 
end 
AG(j.j) = AG, j) -AG 1: j~ 1)u(l: j — 1) 
A(j+1:n,j) = (AG + 1: n,j) 
—A(j+1:n,1:j— 1)0(1: j — 1))/AG, j) 
end 


这 一 算法 的 运算 量 与 算法 1.3.1 一 样 也 是 Ln, 而 且 还 不 需 开 
方 运算 . 
一 但 求 得 4 的 LDLT 分 解 ， 只 需 再 解 如 下 两 个 三 角 方程 组 

Ly=b 和 DLTr=y 

即 可 求 得 线性 方程 组 (1.1.3) 的 解 . 利用 这 种 方法 求解 对 称 正定 线 
性 方程 组 所 需 的 运算 量 仅 是 Gaus 消去 法 的 一 半 ， 而 且 还 不 需要 
选 主 元 . 此外， Cholesky 分 解 的 计算 过 程 是 稳定 的 事实 上 ， 由 
关系 式 


i 
a á = Dh 
k=1 
得 
|l; | < V Gi: (1.3.5) 


上 式 说 明 Cholesky 分 解 中 的 量 l 能 够 得 以 控制 ， 因 此 其 计算 过 
程 是 稳定 的 . 
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4 —2 4 2 
_9 -2 — 
A= 10 2 7 l b= 
4 -2 8 4 16 
2 -7 4 7 6 
利用 改进 的 平方 根 法 ， 得 
di =all = 4, 
一 2 1 
l21 = ai /d = 本 = 了 
la31 = 1, 
1 
l4 = 2 


d> = av — d, = 10 — 1 = 9, 
—2—(-0.5)x4 _ 


l32 = (a32 — laidil21) /dz = 9 


0, 
142 = -了 
ds = G33 -lidi 一 132d2 =8—4= 4, 

4-2 1 
la3 = (a43 - laıdılzı — la2d2l32) /ds = w 
d4 = aaa — Ê d, — Bod: -ld =7—1-4-1=1. 


这 样 ， 我 们 便 得 到 4 的 LDLT 分 解 的 因子 为 


1 
1 
= ! D = diag (4, 9, 4, 1) 
L= ; = qia, ) 4 1). 
1 0 1 8 
1 2 1 
3 73 2! 


b 可 先 解 Lz = b, 得 z = (8, 6, 8, 2)" ; 
T 
,2) ， 最 后 解 Crz = y， 得 z = 


于 是 ， 欲 解 方程 组 Ar 
再 解 Dy = z 得 y = 
(1, 2, 1, 2)T. 
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81.4 ”分 块 三 角 分 解 


前 面 几 节 所 介绍 的 Gauss 消去 法 和 平方 根 法 是 解 线 性 方程 组 
的 最 基本 方法 , 同时 也 是 最 古老 的 方法 . 随 着 计算 机 的 飞速 发 展 ， 
要 将 这 些 方法 用 于 实际 计算 ， 还 需 根据 计算 机 的 特点 作 适 当地 修 
正 才能 达到 应 有 的 效果 . 为 了 弄 清 这 点 ， 请 看 下 表 : 
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Maximum speed f 330 Mflops | 2640 Mfiops 
LINPACK (Cholesky, n = 500) 72 Mflops 72 Mflops 
LAPACK (Cholesky, n = 500) | 290 Mflops | 1414 Mflops 
LAPACK (Cholesky, n = 1000) | 301 Mflops | 2115 Mflops 


这 一 试验 是 在 巨型 计算 机 Cray YMP 上 进行 的 ， LINPACK 
和 LAPACK 分 别 是 70 年 代 后 期 和 90 年 代 初期 研制 完成 的 两 个 
著名 的 数值 线性 代数 软件 包 Mfops 表示 10° 次 浮 点 运算 . 

从 表 中 可 以 看 出 ，LINPACK 的 Cholesky 分 解 子 程序 在 此 计 
算 机 上 的 运行 效率 是 非常 低 的 ， 单 个 处 理 器 时 还 不 到 计算 机 峰值 
的 四 分 之 一 ; 八 个 处 理 器 时 就 更 低 , 大 约 是 峰值 的 四 十 分 之 一 ! 而 
LAPACK 却 几 乎 接近 于 峰值 . 其 实 两 者 的 运算 量 是 完全 一 样 的 ， 
只 是 在 运算 次 序 上 有 所 不 同 . 

为 了 工 清 为 什么 会 出 现 这 种 情况 ， 我 们 首先 需要 了 解 一 下 现 
代 计 算 机 的 存储 结构 .现代 计算 机 大 都 采用 多 级 存储 的 方式 ， 寄 
存 器 (Register) 、 缓冲 器 (Cache) . 主 存 (Memory) 、 磁盘 (Disk) 和 
磁带 (Tape). 计算 器 直接 与 寄存 器 交换 信息 ， 计 算 时 需 将 所 需 的 
数据 逐 级 传递 到 寄存 器 ， 而 计算 结束 后 需 将 寄存 器 内 的 数据 再 逐 
级 传递 出 去 ， 从 寄存 器 依次 到 磁带 其 传递 信息 的 速度 越 来 越 慢 ， 
一 般 具 有 量 级 上 的 差别 .造价 也 是 随 着 级 别 的 下 降 而 下 降 ， 寄 存 
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器 十 分 昂贵 ， 而 磁盘 和 磁带 则 非常 便宜 ， 因 而 一 般 计 算 机 的 磁盘 
和 磁带 的 容量 就 很 大 ， 而 缓冲 器 和 寄存 器 的 容量 就 很 小 . 

基于 计算 机 的 这 种 存储 结构 ， 在 编制 软件 时 ， 就 应 考虑 到 尽 
可 能 地 减少 内 外 存 及 寄存 器 和 主 存 之 间 的 数据 的 传输 .假定 完成 
某 计 算 任务 需要 运算 量 为 f, 而 需要 存 取 数 的 次 数 为 m, 则 我 们 用 


q= x 


来 表示 平均 每 存 取 一 次 数 可 作 的 运算 次 数 . 这 样 ， 我 们 便 有 


lt 
f tarith + M ` tmem = Í taris (1+ — mem ; 
q tarith 


其 中 tarith 表示 做 一 次 运算 所 需 时 间 ， 如 em 表示 存 取 一 次 数 所 需 
时 间 . 由 此 可 见 ， 4 越 大 ， 就 表明 执行 该 任务 的 效率 越 高 . 

数值 线性 代数 的 算法 一 般 主要 是 由 一 些 向 量 运 算 、 和 矩阵 -向 
量 运算 和 矩阵 - 矩阵 运算 组 成 的 . 因此 , 目前 已 将 这 三 种 类 型 的 一 
些 最 常用 的 基本 运算 抽出 来 编制 成 了 数值 线性 代数 基础 子 程序 ， 
记 作 BLAS, 是 英文 Basic Linear Algebra Subroutines 的 缩写 . 它 分 
为 三 类 : BLASI, 包括 一 些 常 用 的 向 量 运 算 , 如 z 全 az utery 
M yt y+ar 等， BLAS2, 包括 一 些 常用 的 矩阵 - 向 量 运 算 ， 
如 y C y+oaÀAr 等 ， BLAS3, 包括 一 些 常 用 的 矩阵 - 矩阵 运算 ， 
如 C 人 +C+a4 等 . 由 于 这 些 运算 实际 运行 的 效率 如 何 是 至 关 
重要 的 ， 因 此 计算 机 厂家 已 将 BLAS 标准 化 ， 并 根据 其 计算 机 的 
特点 进行 了 优化 处 理 ， 有 关 BLAS 的 三 种 典型 运算 的 运算 次 数 、 
数据 存 取 次 数 及 它们 的 比 参见 下 表 : 


ye y+Ar 
C eC +AB 


从 表 中 不 难看 出 ， 和 矩阵 - 矩阵 运算 的 效率 是 最 高 的 ， 平 均 每 
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存 取 一 次 数 可 作 n/2 次 运算 .因此 在 算法 的 设计 和 软件 实现 时 就 
应 尽 可 能 多 地 使 用 矩阵 - 矩阵 运算 LAPACK 正 是 基于 这 点 而 
使 其 效率 大 幅度 提高 的 ， 下 面 我 们 简要 地 介绍 一 下 怎样 在 计算 一 
个 矩阵 的 三 角 分 解 时 尽 可 能 多 地 使 用 BLAS3. 


设 
A= An A| b f 
42 Az | n—b 
b 


n— 
Lu 0 Ui U 
| La I | | 0 À> 
比较 上 式 两 边 对 应 的 块 ， 可 得 
Au = LuUu, A = Luli, 
An = LaUn, ARo = A + La Uo. 

这 样 ， 我 们 便 可 按照 如 下 的 步 邓 来 计算 所 要 的 各 个 子 答 阵 : 

(1) 计算 An 的 LU 238: An = LU 得 Lu fü Un; 

(2) 解 方程 组 LaUn = Azn 和 Li Ui = A 得 Lar 和 Ui; 

(3) 计算 An = Az — Lz21U12. 

上 述 计算 过 程 中 最 后 两 步 均 为 BLAS3 的 基本 运算 , 而 且 我 们 
还 可 以 对 42 重复 上 面 的 过 程 . 这 样 我 们 就 可 设计 出 一 种 尽 可 能 
多 的 使 用 BLAS3 的 计算 三 角 分 解 的 算法 . 当然 ， 实 际 计 算 时 还 需 
将 主 元 选取 结合 进去 才 行 . 此 外 ， 的 大 小 需 根据 计算 机 的 存储 
结构 来 确定 . 


> 


_ An Aiz 
Azn A 


习 = 


1. Hk F = fë kE RER 8 kE E 3 Pk. 

2. 设 S, T e R" 为 两 个 上 三 角 和 矩阵 ， 而 且 线 性 方程 组 
(ST -Alr = 是 非 奇 异 的 ， 试 给 出 一 种 运算 量 为 Oln?) 的 算法 
来 求解 该 方程 组 , 

35 


3. 证 明 ， 如 果 Lk = I ~ ef 是 一 个 Gauss 变换 ， 则 Lr! 一 
T 二 Aieg 也 是 一 个 Gauss 变换 . 
4. 确定 一 个 3 x 3 Gauss 变换 L, 使 


2 2 
LI|3|1=|7 
4 8 


5. 证 明 : 如 果 4e R"*"” 有 三 角 分 解 ， 并 且 是 非 奇 异 的 ， 那 
ZEE 1.1.2 FHA LA U 都 是 唯一 的 . 
6. 设 A = [ap] € R" 的 定义 如 下 : 
1， ”如 果 i=j 或 j=n， 
Qi = | -1, W :> j, 
0 ”其 他 . 
证 明 A 有 满足 |ii| < 1 unn = 2n—1 的 三 角 分 解 . 
7. 设 4 对 称 且 an Z 0, 并 假定 经 过 一 步 Gauss 消去 之 后 ， 


4 具有 如 下 形式 
G11 aT 
0 Aj 
证 明 A, 仍 是 对 称 阵 . 
8. 设 A= [aj] e RX" 是 严格 对 角 占 优 阵 ， 即 4 满足 


|axx| > y` jas;|, k=1,2,...,n. 
jz 
又 设 经 过 一 步 Gauss 消去 之 后 ， 4 具有 如 下 形式 
G11 af 
0 A] 

试 证 : 矩阵 42 仍 是 严格 对 角 占 优 阵 . 由 此 推断 : 对 于 对 称 的 严格 
对 角 占 优 阵 来 说 ， 用 Gauss 消去 法 和 列 主 元 Gauss 消去 法 可 得 到 
同样 的 结果 . 
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9. 设 Ae R” 有 三 角 分 解 . 指出 当 把 Gauss 消去 法 应 用 于 
n x (n + 1) 和 矩阵 [A, b] 时， 怎样 才能 不 必 存 储 工 而 解 出 Ar = t? 
需要 多 少 次 乘法 运算 ? 

10. 设 4 是 正定 阵 . 如 果 对 4 执行 Gauss 消去 一 步 产生 一 个 


形式 为 
G11 af 
0 A 


WERE, WEH A 仍 是 正定 阵 . 
11. 设 


并 且 An EFATHA. EBE 
S = An ~ An Aj Al 

称 为 是 An 在 A 中 的 Schur 余 阵 . 证 明 : 如 果 An 有 三 角 分 解 , 那 
么 经 过 上 步 Gauss 消去 以 后 ， 3 正好 等 于 (1.1.4) 的 矩阵 AG”. 

12. EH: 如 果 用 全 主 元 Gauss 消去 法 得 到 PAQ = LU, W 
对 任意 的 i 有 |uiil 2 hwsl, j= i+1,... n. 

13， 利 用 列 主 元 Gauss 消去 法 给 出 一 种 求 矩 阵 逆 的 实用 算 
法 . 

14. BECA 4e R"*" 的 三 角 分 解 。 4 = LU. 试 设计 一 个 
算法 来 计算 A 的 (ij) ER. 

15. 证 明 : 如 果 AT e R” 是 严格 对 角 占 优 阵 (参见 第 8 S), 
那么 4 有 三 角 分 解 4= LU 并 且 |lij| < 1. 

16. 形 如 N(v,k) = I — yer 的 矩阵 称 作 Gauss-Jordan 变换 ， 
其 中 ye Rn. 

(1) BE Ny k) 非 奇异 ， 试 给 出 计算 其 逆 的 公式 . 

(2) 向 量 z c R" 满足 何 种 条 件 才能 保证 存在 ye R 使 得 
N(y,k)z = ex? 
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(3) 给 出 一 种 利用 Gauss-Jordan 变换 求 4 e R°” WE BE 
4-1 的 算法 ， 并 且说 明 A 满足 何 种 条 件 才 能 保证 你 的 算法 能 够 进 
行 到 底 . 

17. 证 明定 理 1.3.1 中 的 的 下 三 角 阵 工 是 唯一 的 . 

18. 证 明 ， mE 4 是 一 个 带宽 为 2n + 1 的 对 称 正定 带 状 矩 
阵 ， 则 其 Cholesky 因子 工 也 是 带 状 和 矩阵 、” 工 的 带宽 为 多 少 ? 

19. # A= LLT 是 A 的 Cholesky 分 解 ， 试 证 工 的 ; 阶 顺 序 
EFE L 正好 是 4 的 i 阶 顺序 主子 阵 4; 的 Cholesky 因子 . 

20. 证 明 : 若 4e R"*" 是 对 称 的 ， 而 且 其 前 n — 1 个 顺序 主 
子 阵 均 非 奇异 ， 则 4 有 唯一 的 分 解 式 

A= LDLY, 

其 中 工 是 单位 下 三 角 和 矩阵 ， D 是 对 角 和 矩阵 . 

21. 给 出 按 行 计算 Cholesky 因子 工 的 详细 算法 . 

22. 利用 改进 的 平方 根 法 设计 一 种 计算 正定 对 称 矩 阵 的 逆 的 


算法 . 
23. 设 
l 16 4 8 4 32 
A= 4 10 8 4 | b= 26 
8 8 12 10 38 
4 4 10 12 30 


用 平方 根 法 证 明 4 是 正定 的 ， 并 给 出 方程 组 Ar = 的 解 . 

24. 设 H = A+iB 是 一 个 正定 Hermite 矩阵， 其 中 A, B € 
R”*””. 

(1) uEBH; EBE 


是 正定 对 称 的 . 


(2) 试 给 出 一 种 仅 用 实数 运算 的 算法 来 求解 线性 方程 组 
(A +iB)(z + Ww) = (b + ic), z, y, b, cE R". 


上 机 习题 


1. 先 用 你 所 熟悉 的 计算 机 语言 将 不 选 主 元 和 列 主 元 Gauss 消 
去 法 编写 成 通用 的 子 程序 , 然后 用 你 编写 的 程序 求解 下 面 的 84 阶 
方程 组 


6 1 Z1 7 
8 6 1 T2 15 
8 6 1 T3 15 
8 6 1 T82 15 

8 6 1 Z83 15 

8 6 T84 14 


最 后 ， 将 你 的 计算 结果 与 方程 组 的 精确 解 进行 比较 ， 并 就 此 谈 谈 
你 对 Gauss 消去 法 的 看 法 . 


2. 先 用 你 所 熟悉 的 计算 机 语言 将 平方 根 法 和 改进 的 平方 根 法 
编写 成 通用 的 子 程序 ， 然 后 用 你 编写 的 程序 求解 对 称 正定 方程 组 
4z = b, 其 中 

(1) 随机 地 选取 ， 系 数 矩 阵 为 100 阶 和 矩阵 

10 1 
1 10 1 
1 10 1 
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(2) 系数 矩阵 为 40 Et Hilbert 和 矩阵， 即 系数 矩阵 A 的 第 i 
行 第 j 列 元 素 为 ai; = 向 量 b 的 第 i 个 分 量 为 bi = 
n 1 
和 + 一 二 

3. 用 第 1 题 的 程序 求解 第 2 题 的 两 个 方程 组 并 比较 所 有 的 计 
算 结 果 ， 然 后 评论 各 个 方法 的 优 劣 . 
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第 二 章 ”线性 方程 组 的 敏 度 分 析 与 
消去 法 的 伟人 误差 分 析 


我 们 已 在 上 一 章 详 细 地 介绍 了 如 何 用 Gauss 消去 法 求解 线性 
方程 组 , 但 从 数值 计算 的 角度 来 看 , 这 是 不 够 的 . 这 是 因为 在 实际 
计算 时 ， 我 们 不 仅 要 面 对 如 何 求解 的 问题 ， 而 且 也 要 面 对 数据 不 
精确 的 问题 和 机 器 的 有 限 精度 问题 ， 只 有 在 讨论 了 后 面 这 两 个 问 
题 ， 我 们 才 可 能 知道 ， 所 求 得 的 解 是 否 可 靠 . 而 要 讨论 这 两 个 问 
题 ， 我 们 需要 用 范 数 来 描述 向 量 与 矩阵 的 扰动 的 大 小 等 概念 ， 所 
以 在 这 一 章 中， 我 们 首先 介绍 向 量 范 数 和 和 矩阵 范 数 的 概念 及 其 基 
本 性 质 ; 然后 对 线性 方程 组 进行 敏 度 分 析 , 讨论 合 入 误差 问题 , 并 
对 列 主 元 Gauss 消去 法 进行 详细 的 舍 入 误差 分 析 ， 最 后 介绍 一 种 
估计 计算 解 的 精度 的 实用 方法 以 及 改进 其 计算 精度 的 迭代 方法 . 


$2.1 向量 范 数 和 和 矩阵 范 数 


2.1.1 向 量 范 数 
向 量 范 数 的 概念 是 复数 模 的 概念 的 自然 推广 ， 其 定义 如 下 : 


定义 2.1.1 一 个 从 R" 到 R 的 非 负 函 数 上 -| 叫做 R” 上 的 
向 量 范 数 , 如 果 它 满足 : 

(1) 正定 性 ， 对 所 有 的 re R" 有 zl > 0, mE Iz] = 0 当 且 
仅 当 z=0; 

(2) RK: HAR rE RM ac R £ llazll = jal llel; 

(3) 三 角 不 等 式 ， 对 所 有 的 z, y € R" 有 lz + yl < llel + vll. 
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由 范 数 的 性 质 (2) 和 (3) 容易 导出 ， 对 任意 的 z, y € R" 有 


n 
Nel luli] < liz -ul < gax Neil D lz: = wil 
?一 


由 此 即 知 ， 省 -1 作为 R" 上 的 实 函 数 是 连续 的 . 
最 常用 的 向 基 范 数 是 p 范 数 ( 亦 称 Holder 范 数 ): 

lzl = (lz 十 … 十 lan 二， p>, 

其 中 p = 12,oo 是 最 重要 的 ， 即 
zl = [zi] + + |enl, 
lzl = (lz +++ + eal) = Vaa, 
lzlloo = max{lzi| : 1 = 1,2,..., n}. 

它们 分 别 叫做 1 范 数 、 2 范 数 和 oo 范 数 . 这 三 个 范 数 的 正定 性 与 
齐 次 性 是 显然 的 ， 而 且 也 容易 证 明 |i- h Ali- llo 满足 三 角 不 等 
A. 对 2 范 数 要 证 明 三 角 不 等 式 成 立 , 需要 用 到 Cauchy-Schwartz 
不 等 式 


lzTy] < lizllzllyll z. y € R”, 
这 个 不 等 式 是 Hölder 不 等 式 
1 1 
zf < |z ; 一 十 一 二 1 
|z yl | llpllylla p q 


的 特殊 情形 .事实 上 ， 利 用 Cauchy-Schwartz 不 等 式 ， 我 们 有 

lz +yli? = (z+) (z +y) = z]|2+zl'y+ulz +] 

< |l=ll2 + 2||=l|||zl|o + yll2 = (lzll2 + liyll2)?, 

由 此 即 知 2 范 数 满足 三 角 不 等 式 . 

尽管 在 R" 上 可 以 引进 各 种 各 样 的 范 数 ， 但 在 下 面 定 理 所 述 
的 意义 下 所 有 这 些 范 数 都 是 等 价 的 . 

定理 2.1.1 | le M|- ls 是 R” 上 任意 二 个 范 数 ， 则 存 
在 正常 数 c 和 c, 使 得 对 一 切 ze R" 有 


cillzlle < llzlle S callzlle. 
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这 一 定理 的 证 明 较 为 复杂 这 里 不 再 给 出 ， 有 兴趣 的 读者 可 参 
看 有 关 的 参考 书 (例如 ， 可 参看 [6]). 
Sm, F H.I, Hl 和 全 lw 这 三 种 常用 的 向 量 范 数 ， 有 
llzlls < llzlh < vnllzll, 
zl < Jizlle < Vnllzlle, 
llzlleo < llz|h < nllzllo. 
利用 定理 2.1.1 可 证 如 下 的 重要 结果 . 
定理 2.1.2 iZ z, € R", J dim lize- z|| = 0 的 充 要 条 件 是 
Jim lz 一 zi = 0,i = 1,...,n, 即 向 量 序列 的 范 数 收敛 等 价 于 分 
Hk. 
证 明 留 作 练习 . 


2.1.2 ”矩阵 范 数 
ERDA Ey 表示 在 (i, j) 位 置 上 的 元 素 是 1, 其 余 元 素 都 是 
FH n xn ERE, M Ey 是 线性 无 关 的 ， 而 且 任 一 个 n xn 和 矩阵 
A = [a] 都 可 表 为 
4 = y Dai Bs. 


iZi j=l 
这 也 就 是 说 ， 全 体 n x n KE RE R 22 ERE n. 因此 ， 
R" 亦 可 看 作 一 个 m? 维 的 向 量 空间 . 这样， 我 们 自然 想到 将 向 
量 范 数 的 概念 直接 推广 到 矩阵 上 ， 然 而 这 样 推 广 的 缺点 是 未 考虑 
到 和 矩阵 的 乘法 运算 .因而 实用 的 和 矩阵 范 数 的 定义 是 按 如 下 的 方式 
定义 的 . 
定义 2.1.2 一 个 从 R” 到 R WERKS ||- g R” 
上 的 矩阵 范 数 , 如 果 它 满足 : 
(1) 正定 性 ， 对 所 有 的 4e R" X |All > 0, mHE |All = 0 
4HR A=0; 
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(2) 齐 次 性 : 对 所 有 的 A e R 和 ae 玉 有 lla4ll = 
lal IAI] ; 

(3) 三 角 不 等 式 : 对 所 有 的 A, B e R"*"* # || A + B|I < IAll+ 
HB); — 

(4) 相 容 性 ， 对 所 有 的 A, B € R A || ABI| < |lAll || BI. 


因为 豆 "x” 上 的 矩阵 范 数 自然 可 以 看 作 是 R” 上 的 向 量 范 
数 ， 所 以 矩阵 范 数 具有 向 量 范 数 的 一 切 性 质 ， 例 如 ， 有 

Gi) R"*" 上 的 任意 两 个 矩阵 范 数 是 等 价 的 . 

(ü) 矩阵 序列 的 范 数 收敛 等 价 于 元 素 收 仿 ， 即 


(k 


) 一 ; ¿= 
íj = lij, ¿j = 1,... N, 


Jim lA — Aj] = 0 = pma 
其 中 A = [a] € Ra”. 
矩阵 与 向 量 的 乘积 在 矩阵 计算 中 经 常 出 现 ， 因 此 我 们 自然 希 
望 矩 阵 范 数 与 向 量 范 数 之 间 最 好 具有 某 种 协调 性 ， 若 将 向 量 看 作 
是 矩阵 的 特殊 情形 ， 那 么 由 矩阵 范 数 的 相 容 性 ， 我 们 便 得 到 了 这 
种 协调 性 ， 即 矩阵 范 数 与 向 量 范 数 的 相 容 性 . 


定义 2.1.3 FEENS | M MEREK | le 满足 
lAzl, < liAllutlzl, A€ R™”, z € R”, 

MERER I a 与 向 量 范 数 是 .中 是 相 容 的 . 

在 本 书 中 ， 如 果 没 有 特别 说 明 ， 凡 同时 涉及 到 向 量 范 数 和 犯 
阵 范 数 的 均 假 定 它们 是 相 容 的 . 事实 上 , 对 任意 给 定 的 向 量 范 数 ， 
我 们 都 可 以 构造 一 个 与 该 向 量 范 数 相 容 的 矩阵 范 数 ， 其 方法 如 下 
面 的 定理 所 述 . 

定理 2.1.3 BI ÆR 上 的 一 个 向 量 范 数 . FEX 


141 = max Azi, A 8 R"™*", (2.1.1) 


MII: Æ R LAEE. 
证 明 由 于 D= {re R : llel = 1) 是 R" PARA 
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Æ, Tl 又 是 R" 上 的 连续 函数 ， 所 以 存在 向 量 zo € D 使 得 
14zol| = max ||Azll. 因此 ， 由 (2.1.1) 所 定义 的 二 :四 是 有 意义 的 . 
其 次 ， 对 任意 ze R",z Z 0, 由 (2.1.1) 知 


4z la z 
ii - ia sI, 


从 而 有 
Azi < [Al lizil, z€ R". (2.1.2) 

下 面 对 任 取 的 A, B e Rn", W p I 3 E EPE3S SCO 2 
性 质 . 

(1) 正定 性 . 设 À Z 0, 不 妨 设 4 的 第 i 列 非 零 ， 即 Ae, Z 0. 
由 (2.1.2) 和 向 量 范 数 的 正定 性 ， 有 

0 < lAeill < lAllleill, 

AT LAR > 0. 

(2) FKH. ER a € R, 有 


laAl = max llaAzl| = lal max ||Azl| = lol Al. 
fzlls=1 lzll=1 


(3) 三 角 不 等 式 . r WE llel = 1 8⁄8 |J( A+ B)=|| = I A+ BI, 

则 由 向 量 范 数 的 三 角 不 等 式 和 (2.1.2), 有 
1A + BI = |(A + B)zll| < {Azl| + iIB2l| 
< HAlilz!I + Biel = HAR + IBI. 

(4) 相 容 性 . 设 z € R" 满足 |z] = 1 使 得 14Bzll = HAB}, 
则 由 (2.1.2), 有 

14BL = |4Bzll < ANIB] < HABT izl! = HALBL. 
这 样 ， 我 们 就 完成 了 定理 2.1.3 的 证 明 . g 


H (2.1.1) 定义 的 矩阵 范 数 -1 称 为 从 属于 向 量 范 数 外 || 89 
矩阵 范 数 , 也 称 其 为 由 向 量 范 数 || .上 诱导 出 的 算 子 范 数 . 
在 上 面 的 讨论 中 ， 为 了 不 致 引起 混 消 ， 我 们 将 算 子 范 数 记 作 
LI 今后 为 了 简单 起 见 ， 我 们 仍 将 其 记 作 |- I 此 外 ， 还 需 指出 
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的 是 ， 为 了 讨论 方便 ， 我 们 在 本 节 中 仅 考 虑 了 方 阵 的 范 数 ， 但 其 
大 部 分 结论 都 适宜 于 长 方 阵 的 情形 . 
根据 定理 2.1.3, 我 们 可 从 R 上 最 常用 的 p 范 数 得 到 R” 
上 的 算 子 范 数 | ip: 
All, = ax Azli A € R™”. 
对 于 p = 1 2, oo 所 对 应 的 算 子 范 数 ， 我 们 有 
定理 2.1.4 设 A= [a] € R", WE 


Allh = Ba lasjl, 

l l< = max. 2 los 
3= 

4 = V Amax (AT A), 


其 中 Amax(47 A) 表示 ATA 的 最 大 特征 值 . 


证 明 4 = 0 时 定理 显然 成 立 . 因此 在 下 面 的 证 明 中 总 假 
定 4 Z 0. 对 于 1 范 数 ， 将 给 定 的 4 € R RIDA A = 
[ar ,anl, 并 记 ô = lla;,|h = max lla;lh, 则 对 任意 的 r€ R” 


WE lelh = È lel=1 有 
3 rja; 
j=1 


< (Dsl) gaz losih = lalh = 8. 


; 1<j<n 
j=1 

此 外 , ER ej 为 阶 单位 矩阵 的 第 jo 列 ， 则 有 lejl = 1, 而 且 
lejali = llaiol = á. 


llAz|h = 


n > 
< Slzilllasll 
1 j=1 


因此 ， 我 们 有 ' 
lAl: = max, llAzlh = ó = max, lla; = max, 2 lail 
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对 于 oo Üg, n= max F layl, 则 对 任 一 re R" 满足 
1<j<n j=1 
||zlloo =1 有 
1 D „lasl |zjl 


4zlle = max ijTj 


< s=, =n. 
j=1 . 
设 4 的 第 上 行 的 1 范 数 最 大 ， 即 7= D lal 令 
j=1 


Z= (sgn (axı), ,sgn (akn)) s 
则 À Z 0 蕴含 着 || 人 w= 1, 而 且 容 易 证 明 ||Ažllo = n. 这 样 ， 我 
们 就 已 经 证 明了 
I =7= pas, Ð lel 
=1 


1&ign 
对 于 2 范 数 ， 应 有 


14l = mnax lAz| = max [(Az)™ Az)]š 


= _ me EA ayl, 3. 


注意 ， 414 是 半 正 定 的 对 称 阵 ， 设 其 特征 值 为 
À 2 À> 2 - - : 2 Àx 2 0, 
以 及 其 对 应 的 正 交规 范 特 征 向 量 为 v1,… ,vn € R", 则 对 任 一 满 
F lizi = 1 的 向 量 z €: R" 有 
r= Yl am 和 Do =1. 


i=l 
于 是 ， 有 。 
zT4T4z = > Xo; < M. 
i=! 
另 一 方面 ， 若 取 z = vi, WA 
zT4T4z = vl AT Av, = uj Aini = A. 
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所 以 


lAlls = max llAzll2 = VM = Ama (AT A). 


于 是 ， 定 理 得 证 . 0 


基于 定理 2.1.4, 我 们 通常 分 别称 矩阵 的 1 范 数 、 oo 范 数 和 
2 范 数 为 列 和 范 数 、 行 和 范 数 和 谱 范 数 . 此 外 ， 从 这 一 定理 容易 看 
出 ， 和 矩阵 列 和 范 数 与 行 和 范 数 是 很 容易 计算 的 ， 而 矩阵 的 谱 范 数 
就 不 适宜 于 实际 计算 ， 它 需要 计算 ATA 的 最 大 特征 值 . 但 是 ， 谱 
范 数 所 具有 的 许多 好 的 性 质 ， 使 它 在 理论 研究 中 很 有 用 处 .下面 
的 定理 列举 了 谱 范 数 的 几 条 最 常用 的 性 质 . 

定理 2.1.5 WW Ac Rn. Wi 

(1) lAlls = max{lyT Az| : z, y € C”, llzllz = llyll2 = 1} ; 

(2) IIATil2 = 4 = VIM4I4l ; 

(3) 对 任意 的 正 交 和 矩阵 U MVA, UA = 4VY = 14|2. 

证 明 留 作 练习 . 

此 外 ， 在 R"*” 上 的 另 一 个 常用 且 易 于 计算 的 矩阵 范 数 为 


Mle = (X loop) 


通常 称 作 Frobenius 范 数 ， 它 是 向 量 2 范 数 的 自然 推广 . 
作为 本 节 的 结束 ， 我 们 来 证 明 几 个 本 书 经 常 使 用 的 与 范 数 有 
关 的 重要 结果 .由 于 这 些 结果 与 谱 半 径 有 关 ， 因 此 ， 为 了 讨论 方 
便 ， 我们 下 面 的 讨论 将 在 复数 范围 内 展开 . 大 家 容易 看 出 ， 本 节 
前 面 所 讲 的 所 有 概念 与 结果 都 可 毫 无 困难 地 推广 到 复 空间 上 . 
定义 2.1.4 设 4eCnxn, 则 称 
p(4) = max(|À| : À € A(A)) 
为 4 的 谱 半 径 , 这 里 和 (4) 表示 4 的 特征 值 的 全 体 . 
谱 半 径 与 矩阵 范 数 之 间 有 如 下 关系 ; 
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定理 2.1.6 g Acc", 则 有 
(1) 对 C"*” 上 的 任意 矩阵 范 数目 |, 有 
p(A) < llAll: 
(2) 对 任 给 的 £ > 0, 存在 C"™” 上 的 算 子 范 数 外 .小 使 得 
|All < P(A) +€. 
证 明 (1) &<z € C" 满足 
z#0, Az =A\z, Mj] =p(åA), 


则 有 
p(A)llzei || = IAzef || = llAzet || < IAI lze? l, 
从 而 有 
p(A) < llAll. 
(2) H Jordan #rfoEEESI, FERRER X eC, 使 得 
M ô 
A2 ó> 
X-1AX = ` . 
An-1 Óa-1 
An 


其 中 5 = 1 s 0. 对 于 任意 给 定 的 < > 0, $ 
D, = diag (1,e,e2,... ,e"™!), 
则 有 
ÀM Ed 
À Elb2 
D-!1X-!AXD. = 
Mn-1 Ebn-l 
Àn 
现在 定义 
llGlle = |IDAIXTGXDellw, GeC 
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则 容易 验证 这 样 定义 的 函数 .| 是 由 如 下 定义 的 向 量 范 数 
lzllxp = (XD. zl, z € C” 
诱导 出 的 算 子 范 数 ， 而 且 有 
Il = ID;!X-1AXD,llo = max (I| + ledil) < p(A) +e 


其 中 假定 ôn = 0. 0 


定理 2.1.7 i$ Acc”, 则 
lim A* =0 < 全 p(A) < 1. 
天 一 oo 


证 明 必要 性 ilim A* = 0, 并 假定 Me A(A) 满足 p(4) = 

|M. 由 于 对 任意 的 上 有 M e AMA), 故 由 定理 2.1.6 知 ， 
p(A) = [AE < a(4*) < IA" ll 

对 一 切 上 成 立 ， 从 而 必 有 p(4) < 1. 

充分 性 设 p(4) < 1, 则 由 定理 2.1.6 知 ， 必 有 算 子 范 数 | .| 
E IAI < 1, 从 而 

0 < lA < IA — 0, k — œ, 

于 是 Jim. Ak = 0. g 


利用 定理 2.1.7 容易 证 明 如 下 的 重要 结果 : 


定理 2.1.8 设 4eC"*", 则 有 
(1) > 收敛 的 充分 与 必要 条 件 是 p(4) < 1; 


(2) È At 收敛 时 ， 有 


Da- (I-A), 

而 且 存在 Cnxn 上 的 算 子 范 数 -小 使 得 
2 llama: 
|e-a A -54| 1 — IA 
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对 一 切 的 自然 数 m 成 立 . 
由 这 一 定理 立即 得 到 如 下 常用 的 结果 . 


推论 2.1.1 i8 | J C"*” 上 的 一 个 满足 条 件 | 中 = 1 的 
ERR, HRE A cC” 满足 ||4l| < 1, W| T — À 可 递 且 有 


1 
I-A] < 一 一 一. 
la-a < — 


82.2 ”线性 方程 组 的 敏 度 分 析 


一 个 线性 方程 组 Az = b 是 由 它 的 系数 矩阵 A 和 它 的 右 端 项 
b 所 确定 的 ， 而 在 实际 问题 中 ， 通 过 观察 或 通过 计算 得 到 的 4 与 
b 中 的 数据 是 带 有 误差 的 ， 亦 即 A, b 受到 了 扰动 ， 通 常 这 种 扰动 
相对 于 精确 数据 是 微小 的 ， 那 么 ， 自 然 要 问 ，A4 和 请 的 微小 扰动 
将 对 线性 方程 组 的 解 有 何 影响 ? 即 所 谓 的 线性 方程 组 的 敏感 性 问 
BN. 也 许 读者 认为 ， 既 然 A, b 受到 的 扰动 是 微小 的 ， 那 么 对 应 的 
方程 组 的 解 z 的 变化 也 应 该 是 微小 的 . 然而 对 于 某 些 实际 问题 ， 
情况 并 非 如 此 ， 请 看 下 例 . 


例 2.2.1 线性 方程 组 
2.0002 1.99%8 | [zı] [4 
1.9998 2.0002 || z | Í| 4 
的 解 为 z = (1 1)T， 车 方程 组 右 端 有 扰动 66 = (2 x 10-4,—2 x 
10-4)T, 则 原 方程 组 变 为 
2.0002 1.9998 | | z, | _ | 4.0002 
1.9998 2.0002 | | ža | | 3.9998 | 
其 解 为 = (L5, 0.5)T. 这 样 ， 我 们 有 
IIZ — z|l _ 1 lablleo。 1 


lzll。 2 lee ~ 20000” 
即 解 的 相对 误差 是 右 端 项 相对 误差 的 10000 倍 . 
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这 个 例子 表明 ， 确 实 有 一 些 线性 方程 组 其 系数 的 微小 变化 会 
引起 解 的 巨大 变化 . 下 面 我 们 就 一 般 的 非 奇异 线性 方程 组 Az = b 
来 讨论 其 敏感 性 问题 . 假定 该 方程 组 经 微小 扰动 之 后 变 为 

(A + ñA)(z + ór) = b + ôb. 
将 b= Az 代入 上 式 并 整理 可 得 
(A + áA)óz = ôb — ôAz. (2.2.1) 
由 于 4 非 奇 异 ， 故 在 64 充分 小 时 ， A + 64 仍 是 非 奇 异 的 ， 事 实 
E, h#g 2.1.14, RE AHAA < 1, 就 有 À + óA 可 道 , 而 


IU + 4764) < (2.2.2) 


1 
1 — [A-H eA 
因此 ， 在 此 条 件 下 ， 有 A+ áA = A(I + 4-164) 是 非 奇异 的 ， 而 且 
由 (2.2.1) 可 得 
bz = (A + óA) 1(ób ~ áAz) 
= (I + A-16A) 1A-1(ób — áAz). 


两 边 取 范 数 得 
lszll < lÚ + A7164) AT ICI + NAAN liell) 
la- 
< TA pan l! + lea e), 


上 式 最 后 一 步 利用 了 不 等 式 (2.2.2). 上 式 两 边 都 除 以 lell (当然 ， 


这 里 假定 z Z 0), 并 注意 到 | 名 < JA izl, 便 有 
lizl < _ HA- "INAI (= + Wt). 
Jl ` 1~ Azean V HAN ell 


这 样 ， 我 们 就 证 明了 如 下 定理 
定理 2.2.1 i|- 是 R"””” 上 的 一 个 满足 条 件 天 = 1 的 
矩阵 范 数 ， 并 假定 4 e R"*" EAR, b e RER BRE 
áA € R" WE ATHINA < 1. Æ r fll z + óz 分 别 是 线性 方程 
组 
Ar=b 和 (A+64)(z+6z)=6b+6b 
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kau llszll (A) _ (MAN. lool 
| z ' 
Tel S Te pa Tao (Ei ii 1i, (2.2.3) 


其 中 «(4) = IIA- All. 
w Al 较 小 时 ， 有 


AIl 
_ KA) _ 
l-k 1- n(A) RAI 


ll < r(A ) (n + +). 
llzll = iA bll 

由 此 可 知 , 线性 方程 组 的 解 > 的 相对 误差 的 上 界 是 右 端 项 上 和 
系数 矩阵 4 的 相对 误差 之 和 乘 以 一 个 放大 倍数 kA) 而 得 到 的 . 
因此 ， 扰 动 对 线性 方程 组 之 解 的 影响 大 小 便 与 这 个 放大 倍数 有 很 
KER. 若 这 个 放大 倍数 不 大 ， 则 扰动 对 解 的 影响 也 不 会 太 大 ; 
而 车 这 个 放大 倍数 很 大 ， 则 扰动 对 解 的 影响 可 能 就 很 大 ， 于 是 ， 
我 们 有 如 下 定义 ， 


定义 2.2.1 $ r(A) = AMA 称 为 线性 方程 组 Ar = b H 
条 件数 . 


条 件数 在 一 定 程 度 上 刻画 了 拢 动 对 方程 组 解 的 影响 程度 通 
常 , 车 线性 方程 组 的 系数 矩阵 4 的 条 件数 KA) 很 大 , 则 我 们 就 说 
该 线性 方程 组 的 求解 问题 是 病态 ， 有 时 亦 说 4 是 病态 的 ; 反之 ， 
若 (4) 很 小 , 则 我 们 就 说 该 线性 方程 组 的 求解 问题 是 良 态 的 , 或 
说 4 是 良 态 的 . 

显然 ， 条 件数 与 范 数 有 关 ， 当 要 强调 使 用 什么 样 的 范 数 时 ， 
可 在 条 件数 上 加 上 下 标 ， 如 

r2(A) = lI All || A" |l. 
纸 然 条 件数 与 范 数 有 关 , 那么 自然 要 问 : 一 个 方程 组 在 一 种 范 数 下 
是 病态 的 , 在 另 一 种 范 数 下 又 如 何 呢 ? 事实 上 , 由 和 矩阵 范 数 的 等 价 
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z K(A), 


从 而 ， 有 


性 容易 推出 ， Rnx” 上 任意 两 个 范 数 下 的 条 件数 sa (A) 和 xa (A) 
都 是 等 价 的 ， 即 存在 常数 c 和 cz, 使 得 
cl Koa (A) < Ka (À) < c> xa (A). 
例如 ， 有 
N ma (A) S n (A) < nna(A), 
T seo (A) < ra(A) S nx (A), 
5 KR1(A) < x. (A) < n? x) (A). 
这 样 ， 一 个 矩阵 在 o 范 数 下 是 病态 的 ， 则 它 在 8 范 数 下 也 是 病态 
的 . 
此 外 ， 由 不 等 式 (2.2.2) 容易 导出 如 下 结果 ， 
推论 2.2.1 8 | 是 Rx" 上 的 一 个 满足 条 件 || = 1 的 


矩阵 范 数 ， 并 假定 4e R"*" 是 非 奇异 的 ， 而 且 óA e R” 满足 


IA- IIAAI] < 1, 则 A + áA aen iiqhu 而 且 有 
I(A + 64)” — Alle _ K(A) _ lls4ll 


A=" <i 1- s(a) RA TAT 


这 表明 (A) = A-HA ARTT FA E RERA RER. 
最 后 我 们 再 来 看 一 下 条 件数 的 几何 意义 . 


定理 2.2.2 设 4e R” 非 奇 异 ， 则 


` f llâAllz 1 1 
min Al : A+ RR }= TATA 1 RA)’ 


即 在 谱 范 数 下 ， 一 个 矩阵 的 条 件数 的 倒数 正好 等 于 该 矩阵 与 全 体 
奇异 抢 阵 所 成 集合 的 相对 距离 . 
证 明 ”只 需 证 明 
min {li4ll。 : A+ A # 5.) = 


(2.2.4) 


1 一 
1 4 下 > 


即 可 . 由 推论 2.1.1 可 知 ， 当 Al áA|, < 1 BF, A+ óA 必 是 
非 奇异 的 ， 从 而 有 
min Í ||šA||> : AAR) > jai 
此 外 ， 由 于 谱 范 数 是 由 向 量 2 范 数 诱导 出 的 算 子 范 数 ， 因 而 
必 存 在 ze R" 满足 llzll> = 1 使 得 Arl = A7. 现 令 


(2.2.5) 


y= A-iz _ _ zy 
JA zji SIN 
WA lill = 1, 而 且 
T T 
A+ ôA)y = Ay + åAy = 0 
(A + ôA) [Az Ae 
T 
TY izlil T 1 
ôAll = max | —=z]|| = max z| = ——. 
ET 


这 也 就 是 说 , 我 们 已 经 找到 了 一 个 óA e R” 使 得 A+ óA 奇异 ， 
而 且 又 有 ||i4ll> = A717! 这 样 ， 结 合 (2.2.5) 便 有 (2.2.4) 成 
立 . D 


定理 2.2.2 表明 ， 当 4 € R"x" 十 分 病态 时 ， 就 说 明 4 已 与 
一 个 奇异 矩阵 十 分 靠近 . 


82.3 ”基本 运算 的 舍 人 误差 分 析 


这 一 节 我 们 将 对 浮 点 数 的 基本 运算 的 伟人 误差 进行 分 析 ， 这 
是 对 各 种 数值 计算 方法 作 误差 分 析 的 基础 . 

大 家 知道 ， 计 算 机 中 的 浮 点 数 f 可 表示 为 

f = +u x B”, L < J < U, 
这 里 8 是 机 器 所 用 浮 点 数 的 基底 ， J 是 阶 ， w 为 尾数 ， 尾 数 一 
般 可 表示 为 
w = 0.didz -+ di, 
其 中 t 是 尾数 位 数 ， 称 为 字 长 ，0 < di < 0. # di Z 0, 则 称 该 符 
点 数 为 规格 化 符 点 数 . 
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若 用 大 表示 一 个 系统 的 浮 点 数 的 全 体 所 构成 的 集合 ， 则 
F ={0}U {f : f = +0.d -< -d x 8, 
0<di<ß, d #0, L <J SU). 

显然 , 集合 Z 可 用 四 元 数组 (8, t, L, U) 来 刻画 . 机 器 不 同 , 这 四 
个 值 亦 不 同 ， 较 典型 的 值 是 (2, 56, —64, 64). 

集合 下 是 一 个 包含 2(8 - 1)8tÍ1(U - L + 1) +1 300 FR 
集 ， 这 些 数 对 称 地 分 布 在 区 间 [m, M] 和 [- M, -~m] 中， 其 中 

m=, M=" -8*). (2.3.1) 

值得 注意 的 是 , 这 些 数 在 [m, M] 和 [-M, -m) 中 的 分 布 是 不 等 距 
的 . 例如 , # 8 = 2,t=2,L = -14U =2,W Z H 17 430 
分 布 如 下 图 所 示 . 


-3 -2 -l 0 1 2 3 


既然 下 只 是 一 个 有 限 集 , 它 就 不 可 能 将 [m, M] 和 [8 M, —mJ 
中 任意 实数 表示 出 来 . 例如 , #k 0.584635 是 无 法 用 4 位 10 进 制 浮 
点 数 表示 出 来 的 (尽管 它 可 以 用 6 位 浮 点 数 表示 出 来 ). 这 一 点 就 
决定 了 在 计算 机 中 浮 点 数 的 运算 是 无 法 精确 进行 的 ， 再 例如 ， 计 
算 两 个 上 位 浮 点 数 的 乃 积 ， 若 要 精确 表示 一 般 要 2t 位 ， 用 上 位 浮 
点 数 表示 自然 是 不 精确 的 ， 由 此 便 会 产生 会 入 误差 .下 面 我 们 就 
来 讨论 对 于 一 个 给 定 的 实数 ， 应 选择 什么 样 的 浮 点 数 去 表示 它 ， 
由 此 产生 的 相对 误差 又 是 多 少 . 

记 实 数 z 的 浮 点 数 表示 为 f1(z): 若 z = 0, W| fl (z) 取 为 零 ; 
车 m < |r| < M, 则 当 使 用 会 入 法 时 ， 取 fil) 为 和 中 最 接近 于 
z 的 数 f ;， 则 当 使 用 截断 法 时 ， 取 fl(z) A F PRE ISIS |z| 且 
最 接近 于 r 的 数 f. 例如， 对 (8, t, L, U) = (10, 3, 0, 2) 和 实数 
z = 5.45627, EMEA, 则 得 fl(z) = 0.546 x 10 ; 若 用 截断 法 ， 
则 有 fl (z) = 0.545 x 10. 

有 了 实数 的 浮 点 数 表示 以 后 ， 我 们 就 可 确定 它 的 相对 误差 ， 
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这 是 进行 误差 分 析 的 基础 ， 下 面 的 基本 定理 给 出 了 一 个 实数 表示 
成 浮 点 数 所 引起 的 相对 误差 
定理 2.3.1 设 m< |e] < M, 其 中 m 和 MM 由 (2.3.1) 定义 ， 
MI 
fiz) =20+8), Hsu (2.3.2) 
其 中 u 为 机 器 精度 , 妈 
| 36:-5 用 合 入 法 
u= 
A 用 截断 法 
证 明 车 f1(0) = 0 则 (2.3.2) 自然 成 立 ， 现 无 妨 假 定 z > 0 
(HÆ r < 0, 证 明 完全 类 似 ). Ë a 是 满足 
pigr<pe (2.3.3) 
的 唯一 整数 ， 在 [5°-1, 6*) 中 浮 点 数 的 阶 为 a, 所 以 在 这 个 区 间 
中 所 有 + 位 的 浮 点 数 以 间距 prt 分 布 ,对 于 合 入 法 ,根据 (2.3.3) 
R 有 
IE) = z| < 387 = 30A < Lat", 
Bp 


Ift (z) 一 2| < T (2.3.4) 
对 于 截断 法 ， 有 | 
Ifl (z) — z| < 80%@—t = p=-181-t < rp, 
BD 
Hi (z) —zl © zal pt (2.3.5) 
这 样 我 们 就 证 明了 (2.3.2). D 


注 2.3.1 为 了 以 后 使 用 方便 ， 我 们 有 时 也 将 定理 2.3.1 中 的 
fl (z) 的 相对 误差 表示 为 
fl (z) = 


T 
1+8 


l| < u. 
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现在 我 们 来 考虑 基本 运算 的 含 人 误差 . 设 a, b € Z 是 两 个 
给 定 的 浮 点 数 ， 我 们 用 。 来 表示 +, -, x, / 中 任意 一 种 运算 . 
fl(a ob) 的 意义 是 先进 行 运算 ， 得 到 精确 的 实数 ， 再 按 舍 入 规则 
表示 成 浮 点 数 ， 在 运算 中 ， 若 出 现 laob| > M sk 0 < ja o b| < m, 
则 就 是 发 生 了 上 溢 或 下 溢 . 在 不 发 生 溢出 的 情况 下 ， 由 定理 2.3.1 
立即 得 到 

定理 2.3.2 

fl(aob)= (aob)(1 +ô), |ó| < u. 

利用 这 些 基本 浮 点 运算 的 相对 误差 界 ， 可 以 建立 更 复杂 的 运 
算 的 相对 误差 界 . 

例 2.3.1 给 定 ry € R", 估计 |fl(zTy) - zTy| WER. 

解 令 ， 

Sk = fl (Y zas). 
i=1 
则 由 定理 2.2.1, 可 得 
Sı =z +), ml < u, 
Sk = fl (Sk + fl (zxux)) 
= [Sk-1 + zky (1 + YE + ók), |ôrl, [yk] < u, 
于 是 有 a a 
FLETY) = S,= rm +y) [I +6) 


i=l j=i 


n 
= > 1 + ei)Tiyi, (2.3.6) 


其 中 


n 


1+ei=(1 +w) [[0 +), 


j=i 
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这 里 我 们 定义 ð = 0. X#E, 我 们 就 有 
[fl (z! y) _ Ty| < < y leillziyil < <1. onu Y` |ziyil, 


4 一 1 4 一 1 


其 中 最 后 一 个 不 等 式 用 了 下 面 将 要 证 明 的 定理 2.3.3 的 结论 . 注意 
上 式 表 明 ， 若 |zIy| < L |ziyil, 则 fl (zTy) 的 相对 误差 可 能 会 很 
大 . 

EH 2.3.3 车 |5| <u B nu < 0.01, 那么 


1-nu<|[( +) S1+ 1.01nu, 
i=l 


或 写成 n 
JJQ+6)=1+6, — l| < 101nu. 
t=1 
证 明 因为 |6:| < u 故 有 
(-u"<|[( +) < 0 +u)". (2.3.7) 


i=1 
先 估计 (1 - u)" 的 下 界 . 利用 函数 (1- z)" (0 < z < 1) 的 Taylor 
展开 
(1 — z)? = 1 — nz + "Da — 0r)" 2z2 
得 到 
1 —nrz < (1 — z)". 
由 此 立即 得 到 
1 — 1.0inu < 1 — nu < (1 — u)". (2.3.8) 
下 面 估计 (1 + u)" 的 上 界 . k ez 的 大 级 数 展开 
e=1+z+ z += 


2 3 
z r 2r? 
=l+z+;`z N -) 
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立即 知道 ， 当 0 和 x < 0.01 时 ， 有 

l1+r<et <1+zr+ 2 rer < 1+ 1.01z, (2.3.9) 
这 里 用 到 了 091 < 2 这 一 事实 . $ z = u. 由 (2.3.9) 左 端 不 等 式 
得 


(1 +u)" < e"; (2.3.10) 
& z = nu, 由 (2.3.9) 右 端 不 等 式 得 
en" < 1 + L01nu. (2.3.11) 
结合 (2.3.10) 和 (2.3.11) 得 
(1 +u)” <1+1.01nu. (2.3.12) 
由 (2.3.8), (2.3.12) 和 (2.3.7) 即 知 定理 的 结论 成 立 . 口 


作为 本 节 的 结束 ， 我 们 来 简要 地 分 析 一 下 和 矩阵 基本 运算 的 合 
入 误差 ， 这 些 结果 对 我 们 以 后 的 讨论 是 有 用 的 ， 为 此 ， 我 们 引进 
记号 . 

|El = [le;;|], EeR"*", 
并 且 规 定 
IE| <|F| H |e;| <lf;, j=l, on. 

设 A, B 是 由 工 中 的 元 素 构 成 的 nxn EBEE ae Z, 则 由 定 

理 2.3.2 易 知 ， 
ja4) = a4 十 已， |E| < ula4i， 
fi(A+B)= (A+ B)+ E, |El < ulA + B|. 
此 外 ， 应 用 例 2.3.1 可 得 
fI(AB)= AB+E,  |E| < 1.01nujA||B|. 

注意 ，|4B| 可 能 比 |AB| 小 得 多 ， 因 此 和 矩阵 乘积 的 相对 误差 未 
必 很 小 , 基于 这 个 原因 , 通常 计算 内 积 时 是 先 用 双 精 度 ( 即 字 长 为 
2t) 计算 ， 最 后 再 把 计算 结果 舍 入 为 单 精度 数 ( 即 字 长 为 t). 

上 述 的 这 三 个 矩阵 基本 运算 的 使 入 误差 界 ， 是 估计 了 计算 解 
与 精确 解 之 间 的 误差 ， 舍 入 误差 的 界 与 精确 解 有 关 . 这 种 误差 分 
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析 的 方法 称 为 向 前 误差 分 析 法 . 而 实际 上 常用 的 是 向 后 误差 分 析 
法 . 为 了 说 明 这 种 误差 分 析 方 法 ， 我 们 来 看 一 个 简单 的 例子 ， 假 
定 上 面 所 述 的 矩阵 A, B 是 2 x 2 的 上 三 角 短 阵 ， 则 由 定理 2.3.1 
可 知 ， 


| anbn(1 +e) üi: | 
fI (AB) = 
0 az2b22(1 + €s) 
其 中 
G,2 = (auibi2(1 + €2) + Q12b22(1 + 63)) (1 + 84), 
el Su i=1,2,3,4,5. 
ES 
~ Gn Ql2(1 十 ss)(1 +i) 
A= ， 
0 a22(1 + =s) 
5- bi(l+ëi) bi2(l+eE2)(1 + €14) | 
0 baz 
则 易 证 
f1(4B) = AB, 
而 且 


A=A+E, |E|< 3ujA|, 

B=B+F, |F| < 3u|B]. 
换 句 话说 ， 计 算得 到 的 乘积 fl (AB) 是 有 了 微小 扰动 的 两 个 矩阵 
AM B 6380538. 这 种 把 计算 过 程 产生 的 误差 归结 为 具有 误 
差 的 原始 数据 的 精确 运算 的 误差 分 析 方法 称 之 为 向 后 误 末 分析 法 . 
向 后 误差 分 析 法 的 优点 在 于 ， 它 将 浮 点 数 的 运算 转化 为 实数 的 精 
确 运算 ， 从 而 在 分 析 过 程 中 就 可 以 毫 无 困难 地 使 用 实数 的 代数 运 
算法 则 ， 
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82.4 JET Gauss 消去 法 的 伟人 误差 分 析 


这 一 节 我 们 就 利用 上 节 所 建立 的 浮 点 数 的 基本 运算 的 合 入 误 
差 理 论 对 求解 线性 方程 组 的 列 主 元 Gauss 消去 法 进行 向 后 误差 分 
Mr. 我 们 将 证 明 用 列 主 元 Gauss 消去 法 求解 线性 方程 组 Ar = b 
时 ， 它 的 计算 解 过 满足 
(A + E)š = b, (2.4.1) 
并 且 给 出 误差 矩阵 E 的 上 界 估计 . 
首先 考虑 4 的 三 角 分 解 的 舍 人 误差 . 


引 理 2.4.1 Hn xn FARGER 4 有 三 角 分 解 且 6nu < 1, 
则 用 Gauss 消去 法 计算 得 到 的 单位 下 三 角 和 矩阵 荆 和 上 三 角 矩 阵 可 
满足 

LU=A+E, (2.4.2) 
其 中 
IE| < 3nu(|A| + |Č] |Č1). (2.4.3) 
证 明 Xin 用 数学 归纳 法 ， 当 n= 1 时 引 理 显 然 成 立 ， 假 设 
对 (n 1) 已 证 引 理 成 立 ， 现 在 将 给 定 的 x n 矩阵 4 分 块 为 
|; ah 
v A n-i , 
l n-i 
那么 Gauss 消去 法 的 第 一 步 就 是 计算 Gauss fik h = fl (v/a) 和 
修改 矩阵 41 为 À, = fl (A, -JiawT)). 由 定理 2.3.2 可 得 
l =v/a+f, |fl< it (2.4.4) 


=A -hul+ F, |F| < (2+uju(|A,| + [h|bo| f). (2.4.5) 
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算法 的 的 后 继 部 分 就 是 对 A 用 Gaus 消去 法 进行 三 角 分 
解 , 由 归纳 法 假设 知 ,， 所 得 到 的 单位 下 三 角 和 矩阵 L, fü E= fg HE BE: 
Ü, WE 


万 页 = Å + B), 
lE] < 3(n DullAil+ |4101). (2.4.6) 
这 样 ， 我 们 便 有 
LÜ = ; L| ° s [=a 
其 中 


由 (2.4.5) 可 得 
ls (1+ 2u + u2)(|A)| + [B| o|), 
于 是 ， 有 
|E, + F| S |E,| + |F| 
<3(n — u(|Ài| + IL, |D, |) + (2 + wull + || ||!) 
< 3(n — Du((1+ 2u + u?) (141| + [| lwl") + IŽ 1 101) 
+ (2+ u)u(]A:| + [| lwl?) 
< u((3n -1 + [6n + 3(n — 1)u — 5]Ju) (A + [Ù] lwl?) 
+3(n — (il)) 
< 3nu(JA)| + jw]? + |L,|15;)), 
其 中 最 后 一 个 不 等 式 用 到 了 假设 条 件 6nu < 1. 由 此 不 等 式 并 利 
用 (2.4.4) 即 得 


0 0 
|El = | lalli a | 
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0 0 
< 3nu _ — < 
lw} TA + lallvl + lL lU: 


e(a eLa al g) 
w| Ml Hl ajto i 

= 3nu(|A| + |] DI). 
由 归纳 法 原理 知 定理 得 证 . D 


注意 到 交换 矩阵 的 行列 并 不 引进 舍 和 误差, 由 引 理 2.4.1 立即 
得 到 


推论 2.4.1 T n x n PARER 4 是 非 奇异 的 且 6nu < 1, 
则 用 列 主 元 Gauss 消去 法 计算 得 到 的 单位 下 三 角 和 矩阵 L, 上 三 角 
EB Ü 以 及 排列 方 阵 P 满足 

LÜ = PA + E, 
其 中 
|E] < 3nu(|PA| + |Č |Č). 


当 对 4 完成 LU 分 解 之 后 ， 求 解 线性 方程 组 Az = b 的 问题 
就 归结 为 求解 两 个 三 角形 方程 组 
Ly= P 和 Uz=y 
的 问题 .所 以 我 们 现在 来 估计 求解 三 角形 方程 组 的 含 人 误差 


引 理 2.4.2 设 nxn PARTAKE S 是 非 奇 异 的 ， 并 
且 假 定 1.01nu < 0.01, 则 用 上 一 章 $1.1 所 介绍 的 解 三 角形 方程 组 
的 方法 求解 Sz = b 所 得 到 的 计算 解 T 满足 
(S + H)z = b, (2.4.7) 
其 中 
IB| < 1.0inujS]. (2.4.8) 


证 明 对 mn 用 数学 归纳 法 . 不 失 一 般 性 , 设 S= L E F= fli 
EBE. 34 n = 1 时 引 理 显然 成 立 ， 假 设 对 所 有 的 n - 1 阶 下 三 角 
形 方 程 组 已 证 引 理 成 立 ， 我 们 来 考虑 n 阶 的 情形 . 假定 用 前 代 法 
解 Lz =b 的 计算 解 为 2, 并 将 L,b 入 分 块 如 下 : 


b] 1 _ [z] 1 
b= ， TS ~ , 
c n-i y n-—1 


则 由 定理 2.3.2 有 
g, = fl (b /h1) = TTT Jó, | < u. (2.4.9) 
此 外 ， 注 意 到 是 用 前 代 法 求解 n 一 1 阶 方程 组 
Liy = fi(c— nh) 
所 得 到 的 计算 解 ， 由 归纳 法 假设 即 有 
(Lı + Hiy= fi(c— Ali), 
其 中 
IE < 1.01(n — Lulil. (2.4.10) 
应 用 定理 2.3.2, 可 得 
fl(e-3l)= fli(c- fl(ü,l)) = (I+ D.) (e — žil — Z1 Dsli), 
其 中 
D, = diag (Y2,... ,7n), Ds = diag (62,... ,6n), 
Iil ló; <u, 1=2,...,n. 
于 是 ， 我 们 有 
El + ZI D;l + (I + Dy)(L + Hı) = c, 


从 而 有 
(L + H)š = b, 
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其 中 


61011 0 
Ds Hi+D(L +H.) | 
由 (2.4.9) 和 (2.4.10) 得 


É 0 
IH| < 
IDasllal (Hi + |D] + |H,|) 
ujk] 0 
~ 
ulh) Hil + u(|Ll + Hl) 


llul 0 
<u 
lll (101(n -1)+1+ L0l(n — 1)u) |Z: 
< 1.01nulL|, 
其 中 最 后 一 个 不 等 式 用 到 了 假设 条 件 1.01nu < 0.01. n 
应 用 引 理 2.4.2 到 三 角形 方程 组 
Ly=Pb 和 Uz=y 
即 知 最 后 得 到 的 计算 解 z 应 满足 
(L+F)(U + G)š = Pb, 


即 
(LU + FU + LG + FG)š = Pb, (2.4.11) 
其 中 
|F| < 1.01nulLl, |G] < 1.01nulUl|. (2.4.12) 
再 将 LU = PA + E RA (2.4.11), 得 
(A + áA) = b, 
这 里 


ôA = PT(E + FÜ + LG + FG). 


由 (2.4.12) 和 推论 2.4.1 得 
34| < PT (3nu|PA| + (3n + 2.04)ul L| |Ü|) 
=nuPT(3|PA| + 5.04|L| |[D]|). 
注意 到 工 的 元 素 的 绝对 值 均 不 超过 1, 故 有 
lilleo < n. 

为 了 给 出 | 可 ll 的 估计 ， 我 们 定义 

p = max las /l Alle, 
通常 称 为 部 分 主 元 Gauss 消去 法 的 增长 因子 . 这 样 ， 我 们 有 

IIJI| < npll4ll。. 

目前 对 p 尚 无 实际 可 用 的 先 验 估计 ， 在 实际 计算 中 ， 对 给 定 的 矩 
BE, p 是 容易 计算 的 . 这 样 ， 我 们 就 得 到 了 本 节 的 主要 定理 ， 


定理 2.4.1 L n x n PARER 4 是 非 奇 异 的 且 1.01nu < 
0.01, 则 用 列 主 元 Gauss 消去 法 解 线性 方程 组 Ar = b 所 得 到 的 计 
HIR z Wi E: 
(A + áA)z = b, (2.4.13) 
其 中 
ll64ll。 < u(3n + 5.04n3p)|4ll。. (2.4.14) 


定理 2.4.1 表明 , 由 于 消去 法 求解 过 程 中 引进 舍 入 误差 而 产生 
的 计算 解 相 当 于 系数 矩阵 作 某 些 扰动 而 得 到 的 扰动 方程 组 的 精确 
解 . 一 般 来 说 ， 4 的 元 素 比 起 4 的 元 素 的 初始 误差 (数据 的 测量 
误差 、 数 学 模型 误差 等 ) 来 是 很 小 的 . 在 这 个 意义 上 来 讲 ， 部 分 主 
元 的 Gauss 消去 法 是 数值 稳定 的 . 


82.5 ”计算 解 的 精度 估计 和 迭代 改进 


2.5.1 精度 估计 


设 用 某 种 计算 方法 求解 线性 方程 组 Az = b 得 到 的 计算 解 为 
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r= b- Aĉ, 
则 有 
r = Ar — A£ = A(z — Š). 
于 是 
le — êl] = Marllg ATH 
再 注意 到 
èli < llAllizll, 
即 有 | 
ee S pannat 
特别 在 上 式 中 取 oo WEA w 
ie S “(Ne 
这 样 我 们 就 可 在 实际 计算 时 通过 计算 
rE 


(2.5.1) 


来 给 出 计算 解 的 精度 估计 ， 而 上 式 中 除了 <. (A) 外 ， 其 余 的 量 都 


是 容易 计算 的 ， 注 意 到 
Koo(A) = ||” oollAlle, 


而 ||4lloo 又 是 易于 计算 的 , 便 知 用 (2.5.1) 来 估计 计算 解 的 精度 的 
关键 在 于 如 何 估计 Alo 现在 已 有 不 少 的 实用 方法 可 以 给 出 
这 一 估计 . 这 里 我 们 介绍 LAPACK 所 采用 的 一 种 优化 方法 ,该 方 


法 就 是 着 名 的 “盲人 扑 山 法 ”的 一 个 具体 的 应 用 . 
W B e RY”, 我 们 来 估计 Bih. 定义 


n 


f(z) = Bzh = Y |》 biz; 


i=1'j=1 


3 


D= {z€ R” : ||z|h <1}, 


则 易 证 f ERK, D ÆG, MEK Bh 的 问题 就 等 价 于 求 
凸 函数 f 在 凸 集 D 上 的 最 大 值 的 问题 . 
B S Er 点 的 梯度 Ç f(z) 存在 ， 则 由 上 是 函数 的 性 质 可 知 
fu) > f(r)+ vfl- z), y € R". 
现 假定 zo € R” 满足 lzolh = 1 使 得 


Ds #0, i = 1,2,. 


j=l 


& = sgn (> bya) ; 
j=1 


令 


则 在 zo 附近 有 
f(z) = Z Y 6b;z;. 


i=l j=1 


因此 ,有 Bf(zo) — Əf(zo) 
To To 
Jf (zo) = (= ， ero) 


=u B=(BTo) ， 
其 中 v= (i.n) 再 令 
w = Bro, z= By, 

则 有 如 下 的 定理 成 立 . 

定理 2.5.1 假定 B, to, v, w 和 z 如 上 所 述 ， 则 有 

(1) 车 wo < z!zo, WJ lwli = IlBzxolh 是 f(z) = 1Bzlh 在 
D 中 的 局 部 极 大 值 ; 

(2) 若 |zll。 > zTzo, W ||Be;|| > lBzolh, 其 中 ;满足 |z;| = 
llzlleo. 

证 明 (1) 因 在 zo 附近 f(z) 是 z 的 线性 函数 ， 因 此 ， 有 

f(z) = f(x0) + Çf (zo)(z — zo). 
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这 样 ， 只 需 证 在 zo 附近 有 
V f(zo)(z — zo) = z! (z — zo) < 0 
即 可 .事实 上 ， 对 于 |lzll < 1 我 们 有 
zT(z 一 zo)=zTz-zIzo 
< llzlloo llzlh — zzo < llzlloo — zTzo < 0. 
(2) R T = ejsgn (zj), WA 
llBejll = IIBz|lh = f(2) 
2 f(zo) + Ç f (zo)(Z — zo) 
= ||Bzo|li + z TZ — zT zo 
= ||Bzolli + |z;| — z! zo 
= ||Bzoll + |zllw — z! zo > ||Bzolh, 
即 (2) 成 立 . g 
基于 这 一 定理 可 设计 算法 如 下 : 
算法 2.5.1 (估计 和 矩阵 的 1 范 数 ， 优 化 法 ) 
k=1 
while k =1 
w = Br; v = sign (w); z = BTv 
if ||z ||; < zz 


v = jlwih 
k=0 
else 
z = e; 其 中 |z;| = |lzlloo 
k=1 
end 


end 


该 算法 初始 的 z 可 选任 意 满足 lel = 1 的 向 量 ， 例 如 可 取 
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zi = 1/n,i=1,...,n. 

假如 我 们 已 经 计算 好 矩阵 4 的 列 主 元 三 角 分 解 。 PA=LU, 
则 可 利用 上 述 算法 仅 用 O(n?) 的 运算 量 就 可 给 出 |A- 的 一 个 
估计 值 . 由 于 IAH = AT, 因此 只 需 应 用 算法 2.5.1 于 矩阵 
B= A-T 上 即 可 ， 此 时 计算 w= Bz 和 z = BTu 就 相当 于 解 方程 
组 ATw = z 和 Az = v, 利用 4 的 三 角 分 解 这 两 个 方程 组 是 很 容 
易 求解 的 . 

综合 上 述 讨 论 ， 我 们 可 以 按 如 下 的 步骤 来 估计 一 个 计算 解 è 
的 精度 : 

(1) 用 算法 2.5.1 于 B = 4-T 上 得 到 |A- 的 一 个 估计 值 

(2) 分 别 计算 lirli | 人 ol。。 和 lAl 得 到 它们 的 计算 值 了 ,FB 
和 万 

(3) 计算 = -了 ， 则 数 就 可 作为 计算 解 二 的 相对 误差 的 一 
个 估计 . 

对 于 绝 大 多 数 问题 这 一 方法 常常 可 以 给 出 计算 解 相 对 误差 的 
相当 好 的 估计 ， 但 是 也 有 一 些 特殊 的 问题 利用 该 方法 估计 得 到 的 
广远 远 小 于 计算 解 的 实际 相对 误差 . 这 主要 是 由 两 个 方面 的 原因 引 
起 的 : 一 是 由 于 含 和 人 误差 的 影响 使 得 计算 得 到 的 子 远 远 小 于 |r|l。。 
的 真 值 ， 二 是 当 4 十 分 病态 时 计算 得 到 的 三 角 分 解 已 经 相当 不 准 
确 ， 以 致 于 应 用 它 去 估计 出 的 六 要 比 |A- 的 真 值 小 的 多 . 虽 
然 现在 已 经 有 了 一 些 部 分 解决 这 些 问题 的 方法 ， 但 怎样 才能 使 给 
出 的 估计 更 好 仍然 是 一 个 值得 进一步 深入 研究 的 问题 . 


2.5.2 ”和 迭代 改进 


若 计 算 解 + 的 精度 太 低 ， 可 将 作为 初 值 ， 应 用 Newton i 
代 法 于 函数 f(z) = 4z -5 上, 来 改进 其 精度 . 具体 计算 过 程 可 按 
如 下 步骤 进行 : 
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(1) HA r =b- A? (用 双 精 度 和 原始 矩阵 A); 

(2) 求解 4z = r (利用 4 的 三 角 分 解 ); 

(3) 计算 z =+ z; 

(4) | lz êle <e MAR EN, 2 = z, 转 步 (1). 


zl 
实际 计算 的 经 验 表 明 ， 当 4 病态 的 并 不 是 十 分 严重 时 ， 利 用 
这 一 方法 最 终 可 使 其 解 的 计算 精度 达到 机 器 精度 ， 可 是 ， 当 4 十 
分 病态 时 ， 这 样 做 对 解 的 精度 并 不 会 有 太 大 的 改进 . 


J a 
1. 设 a1, a2, -0n Æ n MEZ. 证 明 : 由 zx(z) = (È a;z?)? 


定义 的 函数 > : R” 一 R 是 一 个 范 数 . 

2. WH: 当 且 仅 当 z 和 y 线性 相关 且 zTy > 0 时 ， 才 有 
llz + yll = llzll> + llyll2. 

3. 证 明 : 如 果 4 = [a1,a2,…, an] 是 按 列 分 块 的 , 那么 IAR = 
lla) l + llazll? +... + lla, il- 

4. 证 明 : JLAB||= < AllsllBlls #t ||ABIIF < liAllallBll. 

5. 设 v : R?” > REH 


v(A) = max. loijl 


定义 的 . 证明 n = nv 是 矩阵 范 数 ， 并 且 举 例 说 明 v 不 满足 矩阵 
范 数 的 相 容 性 . 

6. 证 明 ， 在 R" 上 ， 当 且 仅 当 AREER, KA f(z) = 
(zT4z) 是 一 个 向 量 范 数 . 

7. É ||: || 是 R” 上 的 一 个 向 量 范 数 ， 并 且 设 4e Rmxn. 证 
明 : 若 rank(4) = n, W ijela 党 4zl| 是 R 上 的 一 个 向 量 范 数 . 

8. 车 JA < 1 B IZI] = 1, 证 明 


1 
I-A < 一 一 一 . 
IC 有 < 
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9. 设 -上 是 由 向 量 范 数 || | 诱导 出 的 矩阵 范 数 . 证明: 若 
4e R"" AR, W 


IAHI = min Azi]. 


10. 设 A= LU Ẹ A 8 R” 的 LU 分解 这 里 |4j| < 1, 设 
al 和 ur 分 别 表示 4 和 TU 的 第 i 行 ， 验 证 等 式 


$—1 
T_ T T 
u; =a; 一 》 lijuj 
j=1 


并 用 它 证 明 HZlle < 2" |lAl| Ç. 


ll. 设 
_ [ 3725 374 
— | 752 750 | 
(1) 计算 A~ 和 koo(4); 
(2) 选择 b, ôb, z 和 ôr, 使 得 
Ar=b, A(z+ zr) =b + ðb, 
而 且 llôbllo/llbllo 很 小 ,但 ll5zlle /lzllw 却 很 大 ; 
(3) 选择 b, ôb, z 和 ôx, 使 得 
Ar = b, A(z + óz) = b+ ôb, 
而 且 ll6zll。 /llzllw。 很 小 但 jlób| /jallw 却 很 大 . 
12. 证 明 对 任意 的 矩阵 范 数 都 有 I > 1, 并 由 此 导出 
rk(A)>1. 
13. 若 4 和 4+ 互 都 是 非 奇 异 的 ， 证 明 
JIKA + E) 1 — A—1|| < IENANC + E) Il. 
14. AH ÆR 及 (zl an) = 21 anl te Ë £ 的 上 界 . 
15. 证 明 : # nu < 0.01, 则 


fl Yz) = = Dat +n), 


4 一 1 
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其 中 

Im| < 1.01 -Da mi <101(n-i+1)ju (i22). 

16. 设 4 为 x n SERBE, z Xna, mE nu < 0.01. 证 
BB: 

fl (Az) = (A + E)z, 
其 中 E= [e;;] 的 元 素 满足 
len| < 1.01nlaalu (¿= 1,... n), 

leij| < 1.01(n — j + 2)|aj;|u (i=1,...,n, j =2,..., n). 

17. 证 明 : Æ r En SEDBIBR, N fl(zTz)= zTz(1 十 a), 其 中 
lal < nu + O(u2). 

18. WE: 如 果 4 是 三 对 角 阵 ， 那 么 列 主 元 Gauss 消去 法 的 
增长 因子 p 以 2 为 界 . 

19. 证 明 : 如 果 AT 是 对 角 占 优 阵 ， 那 么 列 主 元 Gauss 消去 法 
的 增长 因子 p 以 2 为 界 . 

20. 设 4 为 带 状 矩 阵 ， 带 宽 为 2m + 1, 其 中 mm = 3. 若 列 主 元 
Gauss 消去 法 计算 所 得 到 的 三 和 Ü 满足 

LU = P(A + B), 
EF P 是 排列 方 阵 ， 试 估计 Elo 的 上 界 . 

21. 设 nu < 0.01, ME. fl (Vz) = Vz(1 + ó), 其 中 四 < u. iÑ 
证 用 平方 根 法 对 给 定 的 对 称 正 定 矩阵 A 进行 Cholesky 分 解 得 到 
的 下 三 角 矩 阵 王 满足 

LIT = A+ E, 
并 估计 E 的 元 素 的 上 界 . 


上 机 习题 


1. 先 用 你 熟悉 的 计算 机 语言 将 算法 2.5.1 编制 成 通用 的 子 程 
序 ， 然 后 再 用 你 所 编制 子 程序 完成 下 面 两 个 计算 任务 : 
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(1) 估计 5 到 20 阶 Hilbert 矩阵 的 co 范 数 条 件数 ; 
(2) 设 


-1 . -l -1 1 
先 随机 地 选取 z c R", 并 计算 出 = Anz; 然后 再 用 列 主 元 Gauss 
消去 法 求解 该 方程 组 ， 假 定 计算 解 为 š. 试 对 n 从 5 到 30 估计 计 
算 解 全 的 精度 ， 并 且 与 真实 相对 误差 做 比较 . 
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第 三 章 ”最 小 二 乘 问题 的 解法 


83.1 ”最 小 二 乘 问题 


最 小 二 乘 问题 多 产生 于 数据 拟 合 问题 . 例如， 假定 给 出 m 个 
A ti... ,tm 和 这 m 个 点 上 的 实验 或 观测 数据 v- ,ym, 并 假定 
给 出 在 ti ERER n 个 已 知 函 数 y(t) ,加 人 的. 考虑 V: 的 线 
性 组 合 
f(z;t) = z141 (t) + z2%2(t) + ` + za bn (t), 
我 们 希望 在 ti, ,tm 点 上 f(z;t) 能 最 佳 地 逼近 这 些 数 据 y, 
Ym. 为 此 ， 若 定义 残 量 


r (z) = yi 一 Y z; 0; (ti), 1 =1,... ,m, (3.1.1) 
j=1 
则 问题 成 为 : 估计 参数 z1,... ,zn, ERE r... ,rm 尽 可 能 地 小 . 
(3.1.1) 可 用 和 矩阵 向 量 形式 表示 为 
r(z) = b-— Az, (3.1.2) 
pilt) ` Yaltı) yı 
A= : : ) b= : , 
Piltm) ` Valim) Ym 


T= (zi .Zn)T， r(z) = (rı(z),. .rm(z)) . 
34 m = 时 ， 我 们 可 以 要 求 r(z) = 0, 则 估计 z 的 问题 就 可 用 第 
一 章 中 讨论 的 方法 解决 ， 当 m > n 时 ， 一 般 不 可 能 使 所 有 残 量 为 
零 ， 但 我 们 可 要 求 残 向 量 在 某 种 范 数 意义 下 达 最 小 ， 最 小 二 乘 问 
题 就 是 求 z 使 残 向 量 r(z) 在 2 范 数 意 义 下 最 小 . 
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定义 3.1.1 给 定 矩 阵 A € Rmxn 及 向 量 je R”, 确定 z€ 
R" 使 得 


好 一 4zl = Irz)le = min lir(g)||ə = min lAy — b|. (3.1.3) 


AERAR R, 简 记 为 LS (Least Squares) 问题 ， 其 中 
r(z) 称 为 残 向 量 . 


在 所 讨论 的 问题 中 , Ær 线性 地 依赖 于 z, 则 称 其 为 线性 最 小 
二 乘 问题 ， 若 7 非 线 性 地 依赖 于 z, 则 称 其 为 非 线性 最 小 二 乘 问 
题 . 
我 们 在 这 一 章 中 仅 讨 论 在 实际 问题 中 最 常 碰 到 的 A,b 均 属于 
实数 空间 的 情形 ， 但 所 得 到 的 理论 与 方法 均 可 毫 无 困难 地 直接 推 
广 至 复数 空间 之 中 . 
对 于 残 向 量 选择 不 同 的 范 数 ， 便 得 到 不 同 的 问题 . 例如 ， 采 
用 1 范 数 的 L, 问题 min lir), 以 及 采用 oo 范 数 的 L. 问题 
min ljr(z)ll。. 求解 这 些 问题 的 方法 近年 来 已 有 相当 深入 的 研究 ， 
但 这 些 不 在 我 们 这 门 课 所 讨论 的 范围 之 内 . 
最 小 二 乘 问题 的 解 z 又 可 称 作 线性 方程 组 
Az=b, AeR™*" (3.1.4) 
的 最 小 二 乘 解 ， 即 z 在 残 向 量 r(e) =b- Ar 的 2 范 数 最 小 的 意 
义 下 满足 方程 组 (3.1.4). 4 m > n 时 ， 称 (3.1.4) 为 超 定 方程 组 或 
矛盾 方程 组 ， 而 当 m < n 时 ， 称 其 为 欠 定 方程 组 . 
根据 m 5n 以 及 矩阵 4 的 秩 的 不 同 ， 最 小 二 乘 问题 可 分 为 
下 面 几 种 情形 : 


(I m=n 


(1a) rank (4) =m = n, 
(1b) rank (A) = k < m = n; 
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(2) m > n 


(2a) rank (4) =n < m, 
(2b) rank (4) = k < n < m; 


3 
V 
3 
C 
[ 


| (3a) rank (A) = m < n, 
m<n = 
(3b) rank (A) = k < m < n. 


不 同 的 情形 通常 需要 不 同 的 方法 去 处 理 ， 但 限于 篇 幅 本 章 将 
主要 讨论 情形 (2a) 的 最 小 二 乘 问题 的 性 质 与 求解 . 为 了 讨论 最 小 
二 乘 问题 的 性 质 ， 我 们 需要 先 介绍 一 些 有 关 的 概念 和 记号 . 

Aec R™”. A 的 值 域 定义 为 

R(A) = {y € R” : y = Az, z € R"), 
易 证 R(A) = span {a1,…,an), 其 中 ai 为 4 的 列 向 量 ; 4 的 零 空 
间 定 义 为 
N(A)= (z € R" : 4z = 0), 
它 的 维 数 记 为 null (A). 
一 个 子 空间 S c R" 的 正 交 补 定义 为 
S+ = {y€ R" : ylr=0,Vr eS). 

由 于 下 面 的 讨论 是 建立 在 线性 方程 组 的 基本 理论 上 的 ， 因 此 

我 们 先 简要 地 介绍 一 下 方程 组 (3.1.4) 的 最 基本 性 质 . 


定理 3.1.1 方程 组 (3.1.4) 的 解 存在 的 充分 必要 条 件 是 
rank (A) = rank ([4, b]). 
证 明 必要 性 设 存在 z 使 4z = b, M| b E 4 的 列 向 量 的 线 
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EAR, MA be R(4). 这 说 明 RA, b)) = R(A), 由 此 即 知 ， 必 
有 rank ([A, b]) = rank (A). 
充分 性 若 rank([A,b]) = rank (A) R, WJ be (A), BI b 


可 表 为 ' 
b= Y ria, 
i=1 
这 里 4 = [a,... ,an]. +E, 令 z= (zzn)T， 即 有 Ar = b, 
从 而 定理 得 证 . D 


定理 3.1.2 假定 方程 组 (3.1.4) 的 解 存在 ， 并 且 假 定 z 是 其 
任 一 给 定 的 解 ， 则 (3.1.4) 的 全 部 解 的 集合 是 
z+N(A). 


证 明 如 果 y 满 足 (3.1.4), 则 A4(y-z)=0, 即 (y-z) E€ N(A), 
FÆR y =z+(y 一 z)€E z+N(4). RZ, 如 果 y Ez+N(4), 则 
FE z € M(A), (Ë y = z +2, AMA Ay = Ar + Az = Az =b. n 


定理 3.1.2 告诉 我 们 ， 只 要 知道 了 (3.1.4) 的 一 个 解 ， 便 可 以 
BER N(4) 中 的 向 量 的 和 得 到 (3.1.4) 的 全 部 解 ， 由 此 可 知 ， 
(3.1.4) 的 解 要 想 唯 一 ， 只 有 当 N(4) 中 仅 有 零 向 量 才 行 . 


推论 3.1.1 (3.1.4) 的 解 唯一 的 充分 必要 条 件 是 null (A) = 0. 


下 面 就 来 讨论 最 小 二 乘 解 的 存在 性 和 唯一 性 的 问题 . 首先 我 
们 可 以 通过 一 个 简单 例子 的 几何 直观 来 看 这 个 问题 . 假定 m = 
` 3, rank (A) = 2, R(A), b 如 图 所 示 . 
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当 z OB R" 时 ，y = Az 就 会 取 饥 整个 R(A). 这 样 ， 我 们 
便 可 以 考虑 与 原 最 小 二 乘 问题 等 价 的 一 个 问题 R ymin € R(A), 
使 得 
llb — yminllz = min(||b — yllz : y € R(A)}. 
注意 向 量 b 可 表 为 
| = b + bz, 

其 中 br € R(A), bx € R(A)1. 从 图 上 容易 看 出 ， 当 b- y 垂直 
+ R(A) Bt, BP b- v =b, € RR(4)+ Bf, |b - ylle 达 极 小 这 时 
ymin = bi, 而 b 一 ymin = bz 是 达 极 小 时 的 残 向 量 . 有 了 yan, 只 要 
求解 Az = ymin 即 可 得 到 z. 

定理 3.1.3 ”线性 最 小 二 乘 问题 (3.1.3) 的 解 总 是 存在 的 ， 而 
且 其 解 唯一 的 充分 与 必要 条 件 是 null (A) = 0. 
” ”证明 ”因为 R” = (4)@R(4)+, 所 以 向 量 可 以 唯一 地 表 
RWA b= b +b, R br e R(A), b € R(A)+. 于 是 对 任意 ze R”, 
bi — Az € R(A) H5 b EX, Am 

llr(z)|Ë2 = llb — Azli? = ll(b — Az) + b| 
= ll — Azli? + llb>lÉ. 
由 此 即 知 ， r(e)? 达到 极 小 当 且 仅 当 lb — Azli? 达到 极 小 ， 而 
bi E R(A) X85583 |b: — Az||2 达到 极 小 的 充分 与 必要 条 件 是 
Az = b. 

这 样 ， 由 b c R(A) 和 推论 3.1.1 立即 推出 定理 的 结论 成 立 ， g 


记 最 小 二 乘 问题 的 解 集 为 Xis, ED 
Xıs = (z € R" :zz 是 LS 问题 (3.1.3) 的 解 }， 
则 由 定理 3.1.3 M. Xes 总 是 非 空 的 , 而 且 它 仅 有 一 个 元 素 的 充分 
必要 条 件 是 4 的 列 线性 无 关 . 此 外 ， 不 难 证 明 解 集中 有 且 仅 有 一 
个 解 其 2 范 数 最 小 ， 我 们 用 res 表示 之 ， 并 称 其 为 最 小 范 数 解 . 
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定理 3.1.4 ze Xrs 当 且 仅 当 
ATAz = ATb. (3.1.5) 


证 明 设 ze Xrs. 由 定理 3.1.3 的 证 明知 Ar = 六 ,其 中 
bi € R(A), 而 且 
r(z) =b — Az = b — b = b E R(A)Ł. 
因而 4Tr(z) = ATb, = 0. 将 r(z) =b- Az 代入 ATr(z) =0 即 得 
(3.1.5). 反之 , 设 z € R" 满足 4T4z = ATb, 则 对 任意 的 ye R" 
有 
lè- A(z + = llb — Az||š — 2yT A7 (b — Az) + || Ay||2 
= |b — Az=||2 + ll Ayll2 
> llè — Azl||2. 
由 此 即 得 ze Xs. 口 


方程 组 (3.1.5) 称 为 最 小 二 乘 问题 的 正则 化 方程 组 或 法 方程 
组 ， 这 是 一 个 含有 n 个 变量 n 个 方程 的 线性 方程 组 . 在 4 的 列 
向 量 线性 无 关 的 条 件 下 ， ATA 对 称 正定 ， 故 可 用 平方 根 法 求解 
(3.1.5). 这 样 ， 我 们 就 得 到 了 求解 最 小 二 乘 问题 最 古老 的 算法 一 
正则 化 方法 ， 其 基本 步骤 如 下 : 

(1) 计算 C= ATA, d = ATb; 

(2) 用 平方 根 法 计算 C 的 Cholesky 分 解 : C = LLT; 

(3) 求解 三 角 方程 组 Ly =d 和 LTz = v. 


注 3.1.1 值得 注意 的 是 ， 在 ATA 的 计算 中 ， 如 果 不 使 用 足 
够 的 精度 ， 和 矩阵 4 中 的 一 些 信息 可 能 会 背 失 例如， 对 符 阵 


O © m mæ 
O m OO m 
MMO O m 
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1 十 62 1 1 
ATA= 1 1+e2 1 


1 1 1 十 e? 
假定 es = 10? HHH ATA 是 在 字 长 为 6 的 10 进 制 浮 点 数 的 计 
算 机 上 进行 的 ， 则 1+e2 = 1+ 1056 被 含 人 为 1, 这 意味 着 4 最 
后 三 行 的 信息 全 部 丧失 ， 
注意 ， 正 则 化 方程 组 (3.1.5) 的 解 z 可 以 表 为 
zZ=(4I4)-1470. 


因此 ， 若 定义 
At = (ATA) lAT, 
则 最 小 二 乘 问题 的 解 z 可 表 为 
r = Alb. 
Jt, nxm WERE At 正好 是 4 的 Moore-Penrose 广义 道 . 
Moore-Penrose 广义 逆 的 更 一 般 的 定义 是 ， 若 Xe R"*" 满足 
AXA= A, XAX=X, (AX) = AX, (XA) = XA, 
Ik X Æ A 的 Moore-Penrose 广义 逆 ， 通 常 记 作 Al. 
现在 考虑 向 量 5 的 扰动 对 最 小 二 乘 解 的 影响 .假定 b 有 扰动 
站 且 z 和 z+gkz 分 别 是 最 小 二 乘 问题 
min |b — Az|z 和 minib+6b — Az||> 
的 解 ， 即 
r= Alb, 
z + óz = At (b + ôb) = Atb, 
其 中 5= b+ ób. 下面 的 定理 给 出 了 由 于 “的 扰动 而 引起 的 的 相 
对 误差 的 界 . 
定理 3.15 ib HI b, 分 别 是 5 #l b £ RA) 上 的 正 交 投 
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影 . 若 b £ 0, 则 _ 
|lbi — b) || 
Mb 


llézll> 
lizll2 
其 中 r(A) = |All] At l2- 
证 明 2 b #£ RA 上 的 正 交 投影 为 bz, 则 ATb, = 0. 由 
b=b +b: 可 得 
Atb = Atb, + Atb> = Atb, + (AT A) 1ATb, = Atb. 
同 理 可 证 Atè = Atb,. 因此 
ll6zlls = llAtb — At? = 11At(b — bi )ll2 


< xo (A) 


< IAtllollb: — bls. (3.1.6) 

H Ar =b 得 
llby |l < liAllzllzll. (3.1.7) 
由 (3.1.6) 和 (3.1.7) 立即 得 到 定理 的 结论 . o 


这 个 定理 告诉 我 们 ， 在 考虑 z 的 相对 误差 时 ， 若 b 有 变化 ， 
只 有 它 在 R(4) 上 的 投影 会 对 解 产生 影响 、 此 外 ， 这 个 定理 还 告 
诉 我 们 ， 最 小 二 乘 问题 之 解 的 敏感 性 依赖 于 数 x2(4) 的 大 小 因 
此 ,我 们 称 它 为 最 小 二 乘 问 题 的 条 件数 . 若 cz(4) 很 大 ， 则 称 最 小 
二 条 问题 是 病态 的 ， 否 则 称 为 良 术 的. 

作为 本 节 的 结束 ， 我 们 给 出 «2(4) SFE ATA 的 条 件数 之 
间 的 关系 . 

定理 3.1.6 A 的 列 向 量 线性 无 关 , 则 r(A)? = sa (AT A). 


证 明 由 第 二 章 的 定理 2.1.5 知 ， 
14BB = 14" All, 
lla! || = At (A) TIl = (4TA). 
于 是 ， 有 
Ka (A) = |IAll2Il A! ||2 = IAT Allzll(47 A)” l2 = xs (A A), 
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即 定理 得 证 . Ü 


我 们 曾 讨论 过 用 正则 化 方法 求解 最 小 二 乘 问题 ， 然 而 由 定理 
3.1.6 可 知 ， 最 小 二 乘 问题 在 化 为 正则 化 方程 后 的 条 件数 是 原 问题 
的 平方 ， 这 使 得 求解 过 程 增加 了 对 舍 入 误差 的 敏感 性 ， 因此， 在 
使 用 正则 化 方法 时 ， 要 特别 注意 这 一 点 . 

刚才 我 们 仅仅 考虑 了 5 的 扰动 对 最 小 二 乘 解 的 影响 问题 ， 而 
要 全 面 讨论 最 小 二 乘 问题 的 敏感 性 问题 ， 就 必须 考虑 A 和 5 同时 
都 有 微小 扰动 时 ， 最 小 二 乘 解 将 有 何 变 化 ， 而 这 是 一 个 非常 复杂 
的 问题 ， 由 于 篇 幅 所 限 这 里 将 不 再 进行 讨论 . 
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为 了 给 出 求解 最 小 二 乘 问题 的 更 实用 的 算法 ， 这 一 节 我 们 来 
介绍 两 个 最 基本 的 初等 正 交 变换 ， 它 们 是 数值 线性 代数 中 许多 重 
要 算法 的 基础 . 


3.2.1 Householder 变换 


使 用 Gaus 变换 将 一 个 矩阵 约 化 为 上 三 角形 式 是 基于 一 个 简 
单 的 事实 : 对 于 任 一 个 给 定 的 向 量 z, 可 构造 一 个 初等 下 三 角 阵 L, 
使 Lz = ael, 这 里 el 是 I 的 第 一 列 ，a € R. 这 一 节 我 们 就 来 讨 
论 如 何 求 一 个 初等 正 交 矩阵， 使 其 具有 和 拖 阵 工 的 功能 ， 这样， 对 
一 个 矩阵 的 上 三 角 化 任务 ， 便 可 以 由 一 系列 的 初等 正 交 变换 来 完 


成 
定义 3.2.1 设 we R" 满足 |lwllz = 1, €X H ER"*" 为 
H =I ~ uu, (3.2.1) 
则 称 H 为 Householder 变换 . 


Householder 变换 也 叫做 初等 反射 矩阵 或 镜像 变换 , 它 是 著名 
的 数值 分 析 专 家 Householder 在 1958 年 为 讨论 矩阵 特征 值 问题 而 
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提出 来 的 . 下面 的 定理 给 出 了 Householder 变换 的 一 些 简 单 而 又 
十 分 重要 的 性 质 . 


定理 3.2.1 i$ H EH (3.2.1) 定义 的 Householder 变换 ， 那 
Z H WE 

(1) 对 称 性 : HT = H; 

(2) 正 交 性 : HTH = I 

(3) 对 合 性 ，H? = I 

(4) 反射 性 : 对 任意 的 ze R", 如 下 图 所 示 ，Hz E z XXT u 
的 垂直 超 平面 的 镜像 反射 . 


证 明 (1) 显然 . (2) 和 (3) 可 由 (1) 导出 . 事实 上 ， 我 们 有 
HTH = H? = (I — pwu L )(I — 2ww") 
= I— 4wwT + 4ww ww" = I. 
(4) 设 ze R". W| z 可 表示 为 
r=u+ eu, 
其 中 we span {w}+, a € R. 利用 wuTw=0 和 wiw = 1 可 得 
Hz = (I — 2wwT)(u + aw) 

=u+aw — 2uto lu 一 2aww Tw 


=u — Qu, 
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这 就 说 明了 Hr 为 z 关于 span (u) 的 镜像 反射 . 口 


Householder 变换 除了 具有 定理 3.2.1 所 述 的 良好 性 质 外 ， 它 
的 主要 用 途 在 于 ， 它 能 如 Gauss 变换 一 样 ， 可 以 通过 适当 选取 单 
位 向 量 w, 把 一 个 给 定向 量 的 若干 个 指定 的 分 量变 为 零 . 
定理 3.2.2 设 0 关 xz € R", 则 可 构造 单位 向 量 w€ R”, 使 
由 (3.2.1) 定义 的 Householder 变换 H 满足 
Hr = a6, 


其 中 o = +|lzll. 
证 明 由 于 


Hz = (I -2wwT)z = z — 2(u T z)u, 


故 欲 使 Hr = oe), N) w 应 为 


_ T 一 Gel 
llz — aeille 


对 a = tielle, 直接 验证 可 知 这 样 定义 的 w 满足 定理 的 要 求 。 "D 


定理 3.2.2 告诉 我 们 ， 对 任意 的 ze R" (z # 0) 都 可 构造 出 
Householder 和 矩阵 H, 使 Hz 的 后 n 一 1 个 分 量 为 零 ， 而且 其 证 明 
亦 告诉 我 们 ， 可 按 如 下 的 步骤 来 构造 确定 H 的 单位 向 量 u : 

(1) 计算 v= z 土 ||zllzei; 

(2) 计算 w = v/llvll2. 

首先 ， 一 个 自然 的 问题 是 ， 实 际 计 算 时 ， lelle 前 的 符号 如 何 
选取 最 好 .为 了 使 变换 后 得 到 的 a 为 正 数 ， 则 应 取 

v = z — |izllze. 
但 是 这 样 选取 就 会 出 现 一 个 问题 ， 如 果 z 是 一 个 很 接近 于 e 的 
向 量 ， 计 算 
v = z — llzll 
时 ， 就 会 出 现 两 个 相近 的 数 相 减 ， 而 导致 严重 地 损失 有 效 数字 ， 
这 里 u, 和 zi 分 别 表示 向 量 v 和 z 的 第 一 个 分 量 . 不 过 ， 幸 运 
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的 是 ， 只 要 对 上 式 做 一 简单 的 等 价 变形 ， 就 可 避免 这 一 问题 的 出 
现 . 事实 上 ， 注 意 到 


z? |z —(z2 +. + z2) 
w= le o t” 
只 要 在 zi > 0 时 使 用 上 面 式 子 来 计算 v, 就 会 避免 出 现 两 个 相近 
的 数 相 减 的 情形 . 
其 次 ， 注 意 到 


H = I—2wuf = I — -2v =I- pvr", 
vv 


其 中 8 = 2/vTw, 我 们 就 没有 必要 非 求 出 w 不 可 ， 而 只 需求 出 8 
和 vw 即 可 ， 然而 在 实际 计算 时 ， 将 o 规格 化 为 第 一 个 分 量 为 1 的 
向 量 是 方便 的 ， 这 是 因为 这 样 正 好 可 以 把 v 的 后 n ~ 1 个 分 量 保 
存在 z 的 后 n 一 1 个 化 为 0 的 分 量 位 置 上 ， 而 v 的 第 一 个 分 量 1 
就 无 需 保 存 了 . 

此 外 ， 上 溢 和 下 洲 也 是 计算 中 需要 考虑 的 问题 . 当下 滋 发 生 
时 ， 一 些 计算 机 系统 自动 置 其 为 零 ， 这 就 可 能 出 现 vo 为 零 的 情 
形 . 另外 如 果 z 的 分 量 太 大 ， 当 该 分 量 平 方 时 ， 便 会 出 现 上 洲 . 
考虑 到 对 任意 的 非 零 实数 a 有 av 与 u 的 单位 化 向 量 相同 ， 为 了 
避免 洲 出 现象 的 出 现 ， 我 们 可 用 /llzllv RE z 来 构造 v( 这 样 做 
相当 于 在 原来 的 v 之 前 乘 了 常数 a = 1/llzllw). 

根据 上 面 的 讨论 ， 可 得 如 下 的 基本 算法 . 


算法 3.2.1 (计算 Householder 变换 ) 
function: [v, 8] = house (z) 
n =length(z) (向 量 z 的 长 度 ) 
n = lzllo z = z/n 
a = z(2 : n)Tz(2 : n) 
v(1) = 1; v(2: n) = z(2 : n) 
if o = 0 
B=0 
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else 
e= /z2(1)2 +0 
if z(1) < 0 
v(1) = z(1)- a 
else 
v(1) = —c /(z(1) +a) 
end 
B = 26(1)2/(ə + v(1)?); v = v/o(1) 
end 

利用 Householder 变换 在 一 个 向 量 中 引入 零 元 素 ， 并 不 局 限 
于 Hz = ae, 的 形式 ， 其 实 它 可 以 将 向 量 中 任何 若干 相 邻 的 元 素 
化 为 零 . Am, KE re R° 中 从 此 +1 至 ;7 位置 引 入 零 元 素 ， 只 
需 定义 v 为 

v = (0, ...,0, Tk 一 Q, ZK+1 ---, Ej, 0,..., 0) 
即 可 ， 其 中 a? = È z. 

在 应 用 Householder ZHL — 4" Py E yB B: t RRE 
式 时 ， 其 主要 的 工作 量 是 计算 一 个 Householder EFFE H = I — 
pvu? € R™*™ 与 一 个 已 知 惩 阵 A e R"*" 的 乘积 .在 实际 计算 
HF, H 并 不 需要 以 显 式 给 出 ， 而 是 根据 如 下 的 公式 来 计算 

FF4=(T-povT7)4=4-pbu(4IToT = A — vw), 
其 中 w= BATu, Bp 

(1) 计算 w= BATu; 

(2) 计算 B = A — uu! (B 即 为 所 求 的 乘积 H A). 
完成 这 一 计算 任务 所 需 的 运算 量 为 4mn. 

算法 3.2.1 的 数值 性 态 是 十 分 令 人 满意 的 . 假定 算法 3.2.1 的 
计算 结果 为 全 和 B, 定义 

B=1- fv, 


则 可 证 
IH — Hlls = O(u). 
详细 的 误差 分 析 参 见 [21]. 
3.2.2 Givens 变换 
欲 把 一 个 向 量 中 许多 分 量化 为 零 , 可 以 用 Householder 变换 ， 
例如 前 面 所 讲 到 的 把 一 个 向 量 中 若干 相 邻 分 量化 为 零 . 如果 只 将 
其 中 一 个 分 量化 为 零 ， 则 应 采用 Givens 变换 , 它 有 如 下 形式 : 


G(i,k,0) = I + s(e;el — epel) + (c — 1)(eel + erel) 


H c= cosb, s = sin 0. 易 证 GG k, 0) NEXE. 
E re R". £ y=G(i,k,0)z, WE 
Yi = CT; + STk, 
Yk = —STi + CTk, 


=Z; jik. 


s= — A (3.2.2) 
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几何 上 来 看 ， G( k,0)z= 是 在 (i, k) 坐标 平面 内 将 z 按 顺 时 针 方 
HET 0 度 的 旋转 ， 所 以 Givens 变换 亦 称 平面 旋转 变换 . 

车 利用 (3.2.2) 计算 c 和 s, 可 能 会 发 生 滋 出 ， 为 避免 这 种 情 
形 的 发 生 ， 对 给 定 的 实数 a 和 b, 实际 上 是 按 如 下 算法 所 述 的 方法 
计算 c= cos9 和 s = sinb, 使 得 


EA 


算法 3.2.2 (计算 Givens 变换 ) 
function: [c, s] = givens (a, b) 
ifb=0 
c=1; s=0 
else 
if |b| > lal 
t =afb, s= 1/V1+T2; c= sr 
else 
T =b/a; c= 1/Vl+T2; s= cr 
end 


end 


如 果 用 一 个 Givens 变换 左 (或 右 ) 乘 一 个 矩阵 A 8 R”, 则 
它 只 改变 4 的 第 i, 上行 (或 列 ) 的 元 素 ， 其 余 元 素 保 持 不 变 ， 请 
读者 作为 练习 写 出 其 详细 的 算法 . 
Givens 变换 的 数值 性 态 亦 是 良好 的 .假定 c 和 3 是 由 算法 
3.2.3 产生 的 ， 则 有 
€= c(1+ec)， £e = O(u), 
S= s(1 +E), g, = O(u). 


83.3 EXIDE 


设 4€ Rm be R”. 由 于 2 范 数 具 有 正 交 不 变性 ， 故 对 任 

EHEER Q e RY” 有 
lz — bs = IQT (Az — b). 
这 样 ， 最 小 二 乘 问题 
min ||QT Az — QTb||2 (3.3.1) 

就 等 价 于 原 最 小 二 乘 问题 (3.1.3). 因此 , 我 们 就 可 望 通过 适当 选取 
EXER Q, 使 原 问题 转化 为 较 容易 求解 的 最 小 二 乘 问题 (3.3.1), 
这 就 是 正 交 化 方法 的 基本 思想 . 现在 考虑 如 何 求 8 使 问题 (3.3.1) 
易于 解决 . 


定理 3.3.1 (QR 分 解 定理 ) 设 4e R” (m > n), WAA 


QR 分 解 : 
b 
A=Q , (3.3.2) 
0 


其 中 Qe Rmxm 是 正 交 矩阵 ， 尽 e R"*" 是 具有 非 负 对 角 元 的 上 
三 角 阵 ; 而 且 当 m =n H 4 非 奇异 时 ， 上 述 的 分 解 还 是 唯一 的 . 


证 明 AER QR 分 解 的 存在 性 . 对 n 用 数学 归纳 法 . 当 
n = 1 了 时， 此 定理 就 是 定理 3.2.2 所 述 的 情形 ， 因 此 自然 成 立 . 
现 假定 已 经 证 明定 理 对 所 有 的 px (n ~ 1) 矩阵 成 立 ， 这 里 假设 
p> (n —- 1). 设 À € R” 的 第 一 列 为 a, 则 由 定理 3.2.2 知 ， 存 
在 正 交 和 矩阵 Q; € Rmxm 使 得 Qlai = jlaillzei, 于 是 ， 有 


l er] 1 
a= | mt v | 


A | m-1 


1 7 一 1 
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对 (m - 1) x (n — 1) 矩阵 A, 应 用 归纳 法 假定 ， 得 
b 
Å = Q2 , 
0 
其 中 Q> 是 (m-1)x(m-1) EXER, R, 是 具有 非 负 对 角 元 
的 (n 一 1) x (n 一 1 上 三 角 阵 ， 这样， 令 


lla)l|2 vT 

Q=Qı 1 0 R= 0 R 
0 Q|’ 2 

0 0 


MJQ 和 瓦 满 足 定理 的 要 求 , 于 是 ,由 归纳 法 原理 知 存在 性 得 证 . 

再 证 唯一 性 . 设 =n B. 4 非 奇 异 ， 并 假定 4 = QR = QR, 
其 中 Q, Q e Rmxm REXER, R, R c Rnx" 是 具有 非 负 对 
角 元 的 上 三 角 阵 ， 4 非 奇异 瘟 含 着 R, R 的 对 角 元 均 为 正 数 ， 因 
此 ， 我 们 有 


QTQ = RR”! 
既是 正 交 矩阵 又 是 对 角 元 均 为 正 数 的 上 三 角 矩 阵 ， 这 只 能 是 单位 
矩阵 ， 从 而 ， 必 有 Q = Q, R = R, 即 分 解 是 唯一 的 . o 


利用 QR 分 解 ， 我 们 就 可 以 实现 正 交 化 方法 . 设 À e Rm" 
(m > n) 有 线性 无 关 的 列 ， be R”, 并 且 假 定 已 知 4 的 QR 分 解 
(3.3.2). 现 将 Q 分 块 为 


并 且 令 nm-n 


那么 
llAz — b|: = IIQT Az — QTb||2 = l|Rz — cll + llezllz. 
由 此 即 知 ，z 是 最 小 二 乘 问题 (3.1.3) 的 解 当 且 仅 当 z 是 Re = o) 
的 解 . 这 样 一 来 ， 最 小 二 乘 问题 (3.1.3) 的 解 就 可 很 容易 从 上 三 角 
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方程 组 Rz = cl 求 得 . 
综合 上 面 的 讨论 ， 可 得 正 交 化 方法 的 基本 步骤 为 : 


(1) 计算 4 的 QR 分 解 (3.3.2); 

(2) 计算 c = QTb; 

(3) 求解 上 三 角 方 程 组 Rr = ai. 

由 此 可 知 ， 实 现 正 交 化 方法 的 关键 是 如 何 实现 矩阵 4 的 QR 
分 解 . 下 面 我 们 就 来 介绍 实现 这 一 分 解 最 常用 的 Householder 方 
法 . 

用 Householder 方法 计算 QR 分 解 与 不 选 主 元 的 Gauss 消去 
法 很 类 似 ， 就 是 利用 Householder 变换 逐步 将 4 约 化 为 上 三 角 矩 
E. B m = 7, n= 5, 并 假定 已 经 计算 出 Householder 变换 H, 和 
H: 使 得 


H,H,À = 


O — o o O x 
e c< < ee e° x x 
+ + + + x x 
X X X x X x 
x X X X X x x 


0 + x 


那么 我 们 现在 的 任务 就 是 集中 精力 于 第 三 列 标 为 “+” 的 5 个 元 
察 ， 确 定 一 个 Householder 变换 H; c R5>5 使 得 


十 x 
+ 
H, | + |= | O 
+ 0 
+ 0 


令 H; = diag (D, Hs), WA 
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HsH,H,À = 


> >o ooox 
> >o oooxx 
OO OOO x x x 
X X X x x x x 
X X X x X X 


0 0 O 

对 于 一 般 的 矩阵 Ac RO”, 假定 我 们 已 进行 了 kk 一 1 步 ， 得 
到 了 Householder 变换 H,,... , Hpi, 使 得 

A AD | k-i 


x 


0 A£) m-k+1 


—ln-k+1 


| 


其 中 A) 是 上 三 角 阵 假定 “ 
AÑ = [up,... , un]. 
第 有 步 是 ， 先 用 算法 3.2.1 确定 Householder 变换 
Ë, = Im-r41 BovavT € Rm (mht 
使 得 
Hyu = TAKE1， 
其 中 rer 2 0, el = (1,0,...,0)T e Rm*+1; 然后 ， 再 计算 于 4 的 . 
令 
H, = diag (Ix-1, Hx), 
则 
AD AD 


Akı = HkAk = ~ 
k+1 0 B. At) 


[| 

大 十 1 ) 
0 Alt ) k 
k n-k 


其 中 AR 是 上 三 角 阵 ， 这 样 ， 从 上 = 1 出 发 ， 依 次 进行 n W, 
我 们 就 可 将 4 约 化 为 上 三 角 阵 ， 现 在 记 
R=AY, Q=H::,, 


-ol | 


注意 ， 这 样 得 到 的 上 三 角 和 矩阵 R 的 对 角 元 均 是 非 负 的 . 

下 面 考虑 计算 4 的 QR 分 解 的 存储 问题 . 当 分 解 完成 后 ， 一 
般 来 说 ， 4 就 不 再 需要 ， 便 可 用 来 存放 Q 与 R. 通常 并 不 是 将 Q 
算出 ， 而 是 只 存放 构成 它 的 n 个 Householder 矩阵 不 ,而 对 每 个 
He, 我 们 只 需 保存 ve 和 Bk 即 可 . 注意 到 w 有 如 下 形式 


uk = (rohat), 
RITET UA v(2: m — k + 1) 存储 在 4 的 对 角 元 以 下 位 置 
E. 例如 ， 对 于 m = 4, n = 3 的 问题 ， 其 存储 方式 如 下 : 


Ti 7T12 713 


则 


a) ñ 
U2 T22 T23 
1 2 》 d:= b2 
ví ) ví ) T33 8 
3 
v{® vP vO 


综合 上 面 的 讨论 ， 可 得 如 下 算法 . 
算法 3.3.1 (计算 QR 分 解 Householder 变换 法 ) 
forj=l:n 

[v, B] = house (A(j : m, j)) 

A(j :m, j: n) = (Im-j+1 一 BvvT)A(j : m, j : n) 

d(j) = B 

ifj<m 

Alj+1:m,j)=v(2:m-j+1) 
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end 


end 


容易 算出 , 这 一 算法 的 运算 量 为 2n2(m 一 n/3). 此 外 , 该 算法 
有 十 分 良好 的 数值 性 态 , 详细 的 舍 入 误差 分 析 参 见 [21]. 利用 这 一 
算法 求解 最 小 二 乘 问 题 (3.1.3) 所 得 到 的 计算 解 通常 要 比 正则 化 方 
法 精确 的 多 ， 当 然 ， 付 出 的 代价 也 是 不 容 忽 视 的 . 

Householder 方法 并 不 是 实现 QR 分 解 的 唯一 方法 ， 例如， 我 
们 亦 可 利用 Givens 变换 或 Gram-Schmidt 正 交 化 来 实现 . 通常 用 
Givens 变换 来 实现 QR 分 解 所 需 的 运算 量 大 约 是 Householder 方 
法 的 二 倍 , 但 如 果 4 有 较 多 的 零 元 素 , 则 灵活 地 使 用 Givens 变换 
往往 会 使 运算 量 大 为 减少 . 

此 外 ， QR 分 解 不 仅 可 用 来 求解 最 小 二 乘 问题 ， 而 且 它 也 是 
数值 代数 许多 重要 算法 的 基础 ， 例如， 著名 的 求解 特征 值 问题 的 
QR 方法 就 是 利用 这 一 分 解 而 得 到 的 ; 再 如 , 我们 亦 可 利用 QR 分 
解 求解 线性 方程 组 (1.1.3), 而 且 对 于 某 些 病态 方程 组 QR 分 解法 
的 计算 结果 往往 要 比 三 角 分 解法 好 的 多 ， 当 然 ， 前 者 比 后 者 的 运 
算 量 也 要 大 的 多 . 


3J 题 
1. É 
1 2 1 
A=|3 4]|, b=|1|. 
5 6 1 
用 正则 化 方法 求 对 应 的 LS 问题 的 解 . 
2. 设 


求 对 应 的 LS 问题 的 全 部 解 . 

3. iZ z = (1, 0, 4, 6, 3, 4)T. 求 一 个 Householder 变换 和 一 个 
E% a 使 得 Hz = (1, a, 4, 6, 0, 0)T. 

4. 确定 c= cosh ll s = sin0 使 得 


PUIS QS 


5. 假定 z = (zl,z2)7 是 一 个 二 维 复 向 量 , 给 出 一 种 算法 计算 


一 个 如 下 形式 的 本 矩阵 
qQ=| ° °|, ceR,ë+|]sË =1, 
— c 


使 得 Qz 的 第 二 个 分 量 为 零 . 

6. 假定 z 和 y 是 R" 中 的 两 个 单位 向 量 , 给 出 一 种 使 用 Givens 
变换 的 算法 ， 计 算 一 个 正 交 阵 Q, 使 得 Qz = v. 

7. B rA yE R 中 的 两 个 非 零 向 量 . 给 出 一 种 算法 来 确定 
一 个 Householder 矩阵 H, 使 Hz = ay, 其 中 a € R. 

8. 假定 LE R™""(m > n) 是 下 三 角 阵 , 说 明 如 何 确定 House- 
holder 矩阵 Hi,... , H,, 使 得 

Ha HL = | tı | U 
0 m-n 
其 中 L e R” 是 下 三 角 阵 . 

9. 假定 4 e Rn 的 秩 为 n, 并 假定 已 经 用 部 分 主 元 Gauss 
消去 法 计算 好 了 LU 分 解 PA = LU, rh L e R" 是 单位 下 三 
角 阵 ，U € R"*" 是 上 三 角 阵 ，P e R™*™ 是 排列 方 阵 . 说 明 怎 
样 用 上 题 中 的 分 解 方 法 去 找 向 量 ze R" 使 得 

IILz — Pb||; = min, 
HEH: 如 果 Uz = z, 那么 4z — bll = min. 

10. 设 4e R" HEE X e R" 使 得 对 每 一 个 be R”, 

z = Xb 均 极 小 化 |4z — b||ə. 证 明 AXA = A 和 (AX)T = AX. 
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11. Ë A € R” EAN Aa ERE, Bp 


Ql p, PB `` ` Pn 
b az 0 > ... 0 
Bs 0 a 

A= 3 3 | 
: : Ep An—1 0 
Bn 0 ... ... 0 Qn 


试 给 出 用 Givens 变换 求 4 的 QR 分 解 的 详细 算法 . 
12. 利用 等 式 
A(z + aw) — bli? = ||Az — b||} + 2awT AT (Az — b) + a? || Az||2 
证 明 ， 如 果 z € Xzs, WA ATAT = ATb. 


上 机 习题 


1. 用 你 所 热 悉 的 计算 机 语言 编制 利用 QR 分 解 求解 线性 方程 
组 和 线性 最 小 二 乘 问题 的 通用 子 程序 ， 并 用 你 编制 的 子 程序 完成 
下 面 的 两 个 计算 任务 ， | 

(D 求解 第 一 章 上 机 练习 题 中 的 三 个 线性 方程 组 , 并 将 所 得 的 
计算 结果 与 前 面 的 结果 相 比较 说 明 各 方法 的 优盘 

(2) 求 一 个 二 次 多 项 式 y = at? + bt + c 使 在 残 向 量 的 2 范 数 
最 小 的 意义 下 拟 合 下 面 的 数据 


1.75 | 2.3125 


(3) 在 房产 估价 的 线性 模型 
Y = To + 0171 + G2T72 十 … - + G117Z11 
中 ，a1, az,.… ,all 分 别 表 示 税 , 浴室 数目 、 占 地 面积 、 居住 面积 、 
车 库 数 目 、 房 屋 数 目 、 居 室 数目 、 房 龄 、 建 筑 类 型 、 户 型 及 壁炉 数 
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H, y 代表 房屋 价格 . 现 根据 如 下 的 28 组 数据 ， 求 出 模型 中 参数 
的 最 小 二 乘 结果 . 


25.9 29.5 279 259 299 299 30.9 
289 84.9 829 35.9 31.5 310 30.9 
30.0 28.9 36.9 41.9 40.5 439 37.5 
37.9 44.5 37.9 38.9 36.9 45.8 41.0 


al a2 a3 G4 as as a7 ag ag 810 G11 
49176 1.0 3.4720 0.9980 10 7 4 42 3 1 0 
5.0208 1.0 35310 1.5000 20 7 4 62 1 1 0 
45429 1.0 2.2750 1.1750 10 6 3 40 2 1 0 
4.5573 1.0 4.0500 1.2320 10 6 3 54 4 1 0 
5.0597 1.0 4.4550 1.1210 10 6 3 42 3 1 0 
3.8910 1.0 4.4550 0.9880 10 6 3 56 2 1 0 
5.8980 1.0 5.8500 1.2400 10 7 3 51 2 1 1 
5.6039 1.0 9.5200 1.5010 00 6 3 32 1 1 0 
15.4202 2.5 9.800 3.4200 20 10 5 4 2 1 1 
14.4598 2.5 12800 300 20 9 5 14 4 1 1 
5.8282 1.0 6.4350 1.2250 20 6 3 32 1 1 0 
5.3003 1. 4.9883 1.5520 10 6 3 30 1 2 0 
62712 1.0 5.5200 0.9750 10 5 2 30 1 2 0 
59592 1.0 6.6660 1.1210 20 6 3 32 2 1 0 
5.0500 1.0 5.0000 1.0200 00 5 2 46 4 1 1 
5.6039 1.0 9520 1.5010 00 6 3 32 1 1 0 
8.2464 1.5 5.1500 1.6640 20 8 4 50 4 1 0 
6.6969 1.5 60920 1.4880 15 7 3 2 1 1 1 
77841 1.5 7.1020 1.3760 10 6 3 17 2 1 0 
9.0384 1.0 7.8000 1500 15 7 3 23 3 3 0 
5.9894 1.0 5.5200 1.2560 20 6 3 40 4 1 1 
7.5422 1.5 4000 1690 10 6 3 22 1 1 0 
8.7951 1.5 9890 1.8200 20 8 4 50 1 1 1 
6.0931 1.5 6.7265 1.6520 1.0 6 3 4 4 1 0 
8.3607 1.5 9.1500 1.7770 20 8 4 48 1 1 1 
8.1400. 1.0 8.0000 1.5040 20 7 3 3 1 3 0 
9.1416 1.5 7.3262 1.8310 15 8 4 31 4 1 0 
12.0000 1.5 5.0000 1.2000 20 6 3 3 3 1 1 


第 四 章 ”线性 方程 组 的 古典 迭代 解法 


随 着 计算 技术 的 发 展 计算 机 的 存储 量 日 益 增 大 ， 计 算 速度 
也 迅速 提高 ， 直 接 法 (如 Gauss 消去 法 、 平 方 根 法 等 ) 在 计算 机 上 
可 以 求解 的 线性 方程 组 的 规模 也 越 来 越 大 ， 但 直接 法 大 多 数 均 需 
对 系数 矩阵 4 进行 分 解 ， 因 而 一 般 不 能 保持 4 的 稀疏 性 . 而 实际 
应 用 中 ， 特 别 是 偏 微分 方程 的 数值 求解 时 ， 常 常 遇 到 的 恰恰 就 是 
大 型 稀 玖 线性 方程 的 求解 问题 ， 因 此 寻求 能 够 保持 稀 玖 性 的 有 效 
算法 就 成 为 数值 线性 代数 中 一 个 非常 重要 的 研究 课题 . 

目前 发 展 起 来 的 求解 稀 榴 线性 方程 组 的 方法 主要 有 两 类 : 一 
类 是 迄 代 法 ， 另 一 类 是 稀 朴 直接 法 . 稀 疏 直接 法 是 直接 法 与 某 些 
稀疏 矩阵 技巧 有 机 结合 的 产物 ， 它 充分 利用 所 给 线性 方程 组 的 系 
数 甜 阵 的 零 元 素 的 分 布 特 点 ( 即 和 矩阵 的 结构 ), 采用 灵活 的 主 元 选 
取 策略 ， 使 得 分 解 出 的 矩阵 因子 尽 可 能 地 保持 原 有 的 稀 玖 性 ， 限 
于 篇 幅 ， 本 书 不 涉及 这 类 方法 . 

迭代 法 是 按照 某 种 规则 构造 一 个 向 量 序列 {zk} , 使 其 极限 向 
B z. 是 方程 组 Ar = 的 精确 解 . 因此 ， 对 迁 代 法 来 说 一 般 有 下 
面 几 个 问题 : 

(1) 如 何 构造 选 代 序列 ? 

(2) 构造 的 迭代 序列 是 否 收敛 ? 在 什么 情况 下 收敛 ? 

(3) 如 果 收 敛 ， 收敛 的 速度 如 何 ? 我 们 应 该 给 予 量 的 刻画 ,用 
以 比较 各 种 迭代 方法 收敛 的 快慢 . 

(4) 因为 计算 总 是 有 限 次 的 , 所 以 总 要 讨论 近似 解 的 误差 估 计 
和 和 迭代 过 程 的 中 断 处 理 等 问题 ， 这 又 和 会 入 误差 的 分 析 有 关 . 

一 个 方法 是 否 有 效 要 看 得 到 具有 某 个 精确 度 的 近似 解 而 付出 
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的 代价 如 何 ， 通 常 以 运算 量 和 存储 量 的 要 求 为 标志 ， 在 这 个 标准 
下 ， 直 接 法 在 很 多 情况 下 比 迭 代 法 好 ， 但 是 对 大 型 的 稀 琉 方程 组 
来 说 ， 旭 代 法 更 适用 .本 章 我 们 将 主要 讨论 十 典 迭 代 法 . 


84.1 Jacobi 迭代 和 Gauss-Seidel 迭代 


4.1.1 Jacobi 选 代 


考虑 非 奇异 线性 代数 方程 组 
Az =b. (4.1.1) 
令 
A=D-L-U, (4.1.2) 
其 中 
D = diag (a11, 422,... ,ann)， 
0 
一 Q21 0 
L=| -asl -az 0 ， 
-üni 一 an2 … -ann-1 Ü (4.1.3) 
0 ~al2 ~ag + 一 Qln 
0 一 023 t! 一 02n 
U= 
0 —a,-in 
0 
那么 (4.1.1) 可 以 写成 
z = Bz + g, (4.1.4) 
F B = D-1(L +U), g = Db. 若 给 定 初始 向 量 
zo = (29,39, 2), 
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并 代入 (4.1.4) 的 右 端 ， 就 可 以 计算 出 一 个 新 的 向 量 zl ， 即 


zı = Bto + g; 
再 把 ri 代入 (4.1.4) 右 端 ， 又 可 得 到 一 个 向 量 zz ; 依次 类 推 有 
zk = Btk-1 + g, k=1,2,3,.... (4.1.5) 


这 就 是 Jacobi 迭代 格式 B 称 为 Jacobi 迭代 的 迭代 和 矩阵， 9 称 
为 常数 项 . 


4.1.2 Gauss-Seidel 迭代 


注意 到 Jacobi 迭代 各 分 量 的 计算 顺序 是 没有 关系 的 ， 先 算 哪 
个 分 量 都 一 样 . 现在 ， 假 设 不 按 Jacobi 格式 ， 而 是 在 计算 zk 的 
第 一 个 分 量 用 ri 的 各 个 分 量 计 算 . 但 当 计 算 r 的 第 二 个 分 
EP m, ErP 已 经 算出 ， 用 它 代 替 z 人 5) ， 其 他 分 量 仍 用 
zD, 类 似 地 ， 计 算 Z) 时, zU)... zi 都 已 算出 , 用 它们 
代替 ÍD E, RESEDA r-i 的 分 量 ， 于 是 有 

zk = D Lep + D Uzki +g, =12 (416) 
这 种 迭代 格式 称 为 Gauss-Seidel 迭代 ， 简 写 为 G-S ER. 它 的 一 
个 明显 的 好 处 是 在 编写 程序 时 存储 量 减 少 了 ， 如 果 (D — L) ' 在 
在 ， G-S 迭代 可 以 改写 成 

zk = (D — D lUzk-i + (D — L) b. (4.1.7) 

我 们 把 五 = (D - D 1U 叫做 G-S 和 迭代 的 迭代 和 矩阵， (D — L)-lb 
叫做 常数 项 . 

对 G-S 迭代 法 来 说 ， 计 算 分 量 的 次 序 是 不 能 改变 的 


84.2 Jacobi 与 G-S 迭代 的 收敛 性 分 析 


4.2.1 ”收敛 的 充分 与 必要 条 件 


大 家 已 经 注意 到 , 上 面 介绍 的 两 种 算法 , 有 一 个 共同 的 特点 , 那 
就 是 新 的 近似 解 是 已 知 近似 解 的 线性 函数 , 并 且 只 与 r1 有 关 ， 
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即 它们 都 可 以 表示 成 如 下 形式 
Zk+1 = MTk + g. (4.2.1) 
事实 上 ， 对 Jacobi 迭代 ， 有 
M= Di(L+U), g= Db; 
对 G-S 和 迭代， 有 
M=(D-—- L) U, g=(D- D`b. 
形 如 (4.2.1) 的 迭代 称 作 单 步 线 性 定常 选 代 , 其 中 M e R” mik 
和 迭代 和 矩阵 gE R" 叫做 常数 项 , zo € R" 叫做 初始 向 量 . 如 果 对 
任意 的 初始 向 量 由 (4.2.1) 产生 的 迭代 序列 都 有 极限 ， 则 称 该 迭代 
法 是 收敛 的 ;否则 就 称 它 是 不 收敛 的 或 发 散 的 . 
如 果 和 迭代 法 (4.2.1) 是 收敛 的 , 并 记 其 极限 为 z. ， 则 于 (4.2.1) 
两 端 取 极限 ， 得 到 
Tv = MT, +g. (4.2.2) 
这 表明 迭代 序列 z, 的 极限 z, 恰 为 (4.2.2) 的 解 ， 如 果 线 性 方程 组 
(4.1.1) 5 (4.2.2) 等 价 ， 即 存在 非 奇异 矩阵 Ge R" 使 得 
G(I-M)=A, Ggə=b, (4.2.3) 
则 该 迭代 序列 也 收敛 到 非 奇 异 线性 方程 组 (4.1.1) 的 唯一 解 . 因 
此 ， 如 果 和 迭代 序列 收敛 而 且 (4.2.3) 成 立 ， 则 对 充分 大 的 下 ， zk 
就 可 以 作为 方程 组 (4.1.1) 的 近似 解 . 当 条 件 (4.2.3) 成 立时 ， 就 称 
迭代 法 (4.2.1) 与 线性 方程 组 (4.1.1) EHF. BR, Jacobi IË 
代 法 和 G-S 迭代 法 都 是 相 窜 的 ， 从 实用 的 角度 考虑 ， 当 然 我 们 只 
对 相 容 的 收敛 欠 代 法 感 兴趣 . 因此， 在 本 章 如 果 没 有 特别 说 明 ， 
我 们 总 假定 和 欠 代 法 是 相 容 的 . 
设 z, 为 (4.1.1) 的 解 ， 向 量 


Yk = Tk — Ix (4.2.4) 
称 为 zk 的 误差 向 量 ， 由 (4.2.1) 减 去 (4.2.2) 得 
YE+1 = Myk, k=0,1,2,.... (4.2.5) 
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利用 (4.2.5) 即 可 导出 

yk = Myo. (4.2.6) 
H (4.2.6) 容易 看 出 ， 对 任意 给 定 的 yo 都 有 yx — 0 ( 即 z, — z.) 
的 充分 与 必要 条 件 是 M* — 0. 上 述 结果 可 以 写成 下 述 引 理 . 


引 理 4.2.1 RRA (4.2.1) 收敛 的 充分 与 必要 条 件 是 
ME > 0. 


又 据 定 理 2.1.7 知 ，M* — 0 的 充分 与 必要 条 件 为 p(M) < 1, 
这 样 我 们 就 得 到 了 单 步 线性 迭代 收敛 的 基本 定理 . 


定理 4.2.1 解 方程 组 (4.1.1) 的 单 步 线性 大 代 (4.2.1) 收敛 的 
充分 与 必要 条 件 是 M 的 谱 半 径 p(M) < 1. 


从 上 面 定 理 看 到 ， 移 代 序 列 收 敛 取决 于 迭代 和 矩阵 的 谱 半径 ， 
而 与 初始 向 量 的 选取 和 常数 项 无 关 . 

因为 解 同一 个 方程 组 时 ，Jacobi 迭代 和 矩阵 和 G-S 迭代 矩阵 的 
谱 半径 不 一 定 相同 ， 而 且 并 无 包含 关系 ， 因 此 ， 有 时 Jacobi RA 
收敛， 而 G-S ERREA. 当然 ， 也 有 Jacobi 迭代 不 收敛 而 G-S 
迭代 收敛 的 情形 .例如 ， 若 方程 组 的 系数 矩阵 分 别 为 


1 
1 


则 可 以 验证 ， A, 对 Jacobi 迭代 是 收敛 的 , (H G-S 迭代 不 收敛 ; 
而 42 则 对 Jacobi 迭代 不 收敛 ， 但 G-S 迭代 收敛， 请 自己 验证 . 

用 谱 半 径 来 判别 近代 过 程 是 否 收敛 ， 显 然 是 不 够 方便 的 . 因 
为 计算 迭代 矩阵 的 谱 半径 相当 困难 . 因此 ， 和 需要 给 出 一 些 方便 的 
判别 条 件 ， 也 就 是 比较 容易 计算 的 条 件 . 
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4.2.2 ”收敛 的 充分 条 件 及 误 交 估计 

定理 4.2.2 HERE M WWR IMI = q < 1 并 假定 范 
数 满足 MI = 1, 则 线性 近代 法 (4.2.1) 的 第 大 次 选 代 向 量 zk 与 准 
确 解 z, 的 误差 有 估计 式 : 


k 
EZ 一 | < d IERI 一 zoll- (4.2.7) 


1—q 
证 明 H (4.2.6) 知 ye = M*yo ， 两 端 取 范 数 ， 得 
lyi = lM yol] < Idoll = q*llyoll. 


现在 估计 yo. 根据 定义 llyoll = llze 一 zll, 由 all < 1 可 知 (一 
M) FE, 而且 


z, = (I — M) `!g, 
于 是 
zo — z, = zo — (I — M) 1g = (I — M) ((I — M)zo — 9) 
= (I — MY (zo — (Mzo +9)) = (I — M) (zo — zi), 
所 以 
llyoll < I — M)™ lzo — z1 ll- 
再 注意 到 当 ||MI| = q < 1 时 ， 有 


Ig - M)- < — ! 


1-IMI i-q 
即 知 定理 成 立 . n 


从 近似 解 的 误差 估计 可 以 计算 出 要 得 到 满足 精度 要 求 的 近似 
解 需要 迭代 多 少 次 ， 但 这 种 估计 往往 偏 高 ， 在 实际 计算 时 用 它 控 
制 并 不 方便 ， 所 以 给 出 下 面 定理 . 

定理 4.2.3 # |M =g<1 且 中 =1， 则 和 迭代 序列 {1} 
的 第 上 次 近似 和 准确 解 之 差 有 估计 式 


ler = zl < Tle = zall (4.2.8) 
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证 明 因为 
Tk — z, = Mrki +g — (Mz. + g) = Mrk- Mz. 
= Mz- — M(I — M) !'g = M(I — M) (£k — zk), 
所 以 上 式 两 端 取 范 数 ， 即 得 


zk — zall < — 


1 一 4 
于 是 ， 定 理 得 证 . D 


上 面 定理 表明 ， 我 们 可 以 从 两 次 相 邻 近似 值 的 差 来 判别 迭代 
是 否 应 该 终止 ， 这 对 实际 计算 是 非常 好 用 的 . 

用 范 数 来 判定 迭代 过 程 是 否 收敛 尽管 只 是 一 个 充分 条 件 ， 但 
用 起 来 比较 方便 .通常 是 用 矩阵 的 1 范 数 和 oo 范 数 来 判定 的 ， 
这 是 因为 当知 道 矩 阵 以 后 它们 是 很 容易 计算 的 ， 对 Jacobi 迭代 来 
说 ， 上 述 判 别 法 基本 上 能 令 人 满意 了 ， 这 是 因为 给 定 方程 组 后 ， 
Jacobi 迭代 的 迭代 矩阵 是 比较 容易 得 到 的 ;而 对 G-S ARKH, 
仍 有 一 些 困难 ， 这 是 因为 由 方程 组 的 系数 矩阵 去 计算 G-S ARE 
阵 需要 求 (D— L) 1U 就 不 那么 方便 之 故 . 为 此 , 给 出 下 面 定 理 . 


定理 4.2.4 i B JE Jacobi 迭代 的 迭代 矩阵. 若 | Bllw。 < 1, 

则 G-S 迭代 收敛， 而且 有 估计 式 ， 
H 

l-u 


llzk-4 — zxll. 


|lzz — zello < ||z1 — zolloo, (4.2.9) 


其 中 
n 1—1 
p = max | > jbl/(1- 5 5) ， (4.2.10) 
j=i+1 j=1 
且 有 jh< ||Bllo < 1, 这 里 bi; 是 矩阵 B 的 元 素 . 
证 明 E< S 


一 1 


li = D bizh tu; = > |b;;l: 


j=1 j=i+1 
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显然 ， 对 任意 1 <is 和 nm 8 l +u lB <1. 由 
u; _ 1 
li +u; 一 I-G = r Ú, + u;)(1 一 l) — ui) 
L, 
=— (1-L - u) > 
rx li—ui)>0 


可 推出 
— <l +u 
1 _ l, N "+ 13 
两 边 对 i 取 最 大 值 ， 得 
u= max + < max(li+ w) = Bl < 1. 


l-4 ` 
再 证 G-S 迭代 收 伍 ， 也 就 是 要 证 明 (L) < 1. i£ À Ë: L. = 
(D — L) lU 的 任 一 特征 值 ，z = (&....,6.)' 为 相应 的 特征 向 
量 ， 并 假定 j&| = llelo = 1, W 
(D-L)-iUz = àz, 

或 写成 

àx = AD Lz + D™ Uz. (4.2.11) 
注意 到 B = DIL+DU, Ba D-1L 为 B 的 下 三 角 部 分 而 
D'U 为 B ñj E= fay. 于是， (4.2.11) 的 第 i 个 方程 为 


i—l 


Mi= 入》 b 6 + J biéy, 


j=1 j=íi+1 
取 绝对 值得 
IE Dl + u. 
由 此 推 得 | 
AS Si +w < 1 


BD (L1) < 1， 从 而 G-S 迭代 收敛 . 
下 面 给 出 估计 式 ， 因 为 


一 ZK 1 一 站 -IC(z — zx-i) + D'U (Tk-1 — zk—2), 
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用 分 其 表示 即 为 
z) gD — -Tl (H _ pl-)) 


十 5 b (zU — s2), (4.2.12) 
j=i+1 
于 是 ， 取 绝对 值 就 有 
jz t) 一 zk 一 | <l; max|z(Ë) 
J 


假定 分 量 中 在 某 个 io 达到 极 大 ， 即 


k k-i 
|z!) 一 z )| = 


(k—1) (k—1) _ zhe) 
z; . |. 


)| +u max|z; 
max |z”) — zk). 


那么 就 有 
zr — zr-illoo < liollzk ~ Ze-illoo + ui llEk-1 — zk-2ll%, 
从 而 有 


u 
lær — za—illə < Ilse: ~ zk-2lloo S nllzk-i — zk-2lloo 
to 


< ISSN 2. 一 zollo. 


由 (zk — z.) = YG 一 Zit1), 可 得 


° Oo 
læs — zello < $. lliz: — zeae < pillzt ~ zoll 
i=k i=k 
k 
= zilla: ~ zolle» 
Bp (4.2.9) 得 证 . D 


类 似 地 我 们 可 以 给 出 下 面 定理 ， 


定理 4.2.5 设 B = [bj] Æ Jacobi EREE. 车 上 Bl <1, 
则 G-S 迭代 收敛 ， 且 有 估计 式 ， 
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~k 
ek ~ zll < sl — zoll, (4.2.13) 


其 中 
j-1 
2 lbijl 
s = max 3 [biz], ñ = max -一 二 < |IB|h < 1. 
i=j+1 ? 1- E byl 
i=j+1 


(4.2.14) 


证 明 显然 ， 立 < Bh <1. 下 面 证 明 p(L1) <1. 因为 
(D - L)'U = (I - DL) DU(I - D 1Ly (I — DIL), 
因此 ， (D-LU 5 D-1lU(I — DL) 相似 ， 有 相同 的 特征 
E. 现在 假定 入 是 (D71U(I - DL)" 的 任 一 特征 值 ，z = 
(6 ,én) 为 相应 的 特征 向 量 ， 并 假定 il = lello = 1, 则 由 
(D-lU(I— D -1L)'1)Tz = Àr 
可 推出 
Az = AD-LZ)Iz+(D-IU)Tz. 
比较 两 边 向 量 的 第 i 个 分 量 ， 得 


Mi = Eigra s bjiĝj, 


j=i+1 


两 边 取 绝对 值 , 
A< Ebit po 
=1 j=i+1 
于 是 推出 加 
> lbssl 
A <s L << 1. 
1— 2 ,loi 


由 此 即 知 P(Z < 1, 所 以 G-S 迭代 收敛 . 
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为 证 明 估计 式 (4.2.13) ， 我 们 把 (4.2.12) 两 边 取 绝对 值 以 后 ， 
对 i 求 ， 得 


a n i-l 
Dl a | < E(X bulle? -f| 
i=l 


i=1 j=l 
n 
+ >  lbjl|lz - z#=2]). 


j=i+1 
把 不 等 式 右边 的 两 个 求 和 号 交换 ， 并 注意 到 B ERRES, RE 
y |a — zT] < > ( y` |b;;| Ja l) _ z=] 
i= j=1 i=j+1 
了 一 1 
+Y oyl |e? — zÉ). 
i=l 
我 们 令 . E 
ú; = > |b;;|, L = Y bl, 
i=j+1 i=1 


3 
3 


k k-1 ~ k 大 一 1 T k—1 k—2 
X lz) - z E (efh -a + | l) — f), 
j=1 


n n 
x k k—1 ~ (kl k2 
C-E =a] < JOB -af 

j=1 = 


n 
m 77 k—1 k—2 
< EX (1 - i)e! ) 一 了 )| 
j=1 


Jj=1 
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根据 u; 和 s 的 定义 知 
1l—s<1-u%; < 1, 


所 以 
(k) (k—1 ~k— z 1) 0 
(1-s) jef -f gp Dz — zf), 
j=1 了 一 
即 
(1 — s)llzz— zz-ilh < Ale — zolh. 
又 因为 ° 
Tk T, = Y (zi — Zi+1), 
1 一 大 
所 以 
Oo 
lz 一 zs|| < > lizi — zitih 
i=k 
1 Au 
< Ts È Flle: ~ zoll 
-s £ 
i=k 
2 ||z1 ~ zolli, 
(1 ~—£)(1— s) 
即 (4.2.13) 得 证 . 口 


如 果 线 性 方程 组 的 系数 和 矩阵 正定 . 我们 还 能 推出 一 些 更 好 的 
结论 . 

定理 4.2.6 PRIEM 4 对 称 ， 对 角 线 元 素 ui > 0 (i = 
1,2,... ,mn)， 则 Jacobi 迭代 收敛 的 充分 与 必要 条 件 是 4 和 2-4 
都 正定 . 

证 明 因为 B=D-IC+D)=D-I(D-4) = I- DA, m 
D = diag (ai) 的 对 角 元 素 均 大 于 零 ， 故 

B=I- D7!A = D-bM(I— D7} AD~})DÈ. 
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由 4 的 对 称 性 推出 工 - D-34D- 也 是 对 称 的 ， 而 且 它 与 如 相 
似 ， 有 相同 的 特征 值 ， 从 而 B 的 特征 值 均 为 实数 . 

先 证 必要 性 . 假设 Jacobi 迭代 收敛 ， 即 p(B) < 1 ， 则 矩阵 
1-D-44D-3 的 特征 值 绝 对 值 也 都 小 于 1 ， 亦 即 DAD- 
的 特征 值 必 在 区 间 (0,2) 内 ， 从 而 4 是 正定 矩阵 ， 另外， 矩阵 
27 - D-3AD-3 的 特征 值 也 全 为 正 数 ， 所 以 27 - D-34D- 也 
正定 ， 而 

D-3(2D— A)D-3 =2I — D-$AD-, 
因此 2D - 4 正定 . 

再 证 充分 性 .因为 
Dš(I— B)D-š: = D-š:AD-53, 

所 以 由 4 正定 推出 了 - 互 的 特征 值 均 大 于 零 ， 即 B 的 特征 值 均 
小 于 1. 由 2D-4 正 定 ， 再 利用 

D-3:(2D — A)D- = D? (I + B)D-š, 
即 可 推出 I+ B 的 特征 值 全 大 于 0, 即 B 的 特征 值 均 大 于 -1 这 
样 就 证 明了 p(B) < 1, 从 而 Jacobi 迭代 收敛 . D 


定理 4.2.7 若 系数 矩阵 4 正定 ， 则 G-S 迭代 收敛 . 


证 明 设 入 是 G-S 和 迭代 矩阵 任 一 特征 值 ，v 是 相应 的 特征 

向 量 ， 则 有 

(D — L)1Uu = W. 
因为 4 正定 ， 所 以 U = LT ， 因 此 ， 

A(D -Lv= LT. 
用 vw 左 乘 上 式 两 边 ， 得 

Av* Dv — \v* Lv = u* LTu. 
令 
u* Du = ó, v*Lv =a + iñ, 
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u*LTo = (Lu)*u = u*Lu = o — ib. 


所 以 
Alô — (a + i0)) =a — iB, 
取 模 得 
|MP2((6 — a)? + 82) = o? + 02. 
而 
0< v*Av =v*(D - L- LT)u = ó — 2a, 
所 以 
(ó — a)? + 82 = 62 +a + B? — 260 

= ó(ó — 2a) + o? + 8? 

>a + 82, 
由 此 即 知 | 和 | < 1, 从 而 推出 G-S 和 迭代 收敛 . D 


从 上 面 的 两 个 定理 看 到 ， 对 Jacobi 迭代 和 G-S 迭代 收敛 性 的 
判别 ， 已 从 对 和 迭代 竹 阵 性 质 的 研究 转 到 对 系数 矩阵 性 质 的 研究 上 
来 了 ， 这 应 该 说 是 一 个 很 大 的 进展 ， 然 而 矩阵 正定 的 判别 ， 并 不 
很 直观 ， 所 以 要 把 判别 条 件 再 深入 一 步 ， 需 引进 两 个 定义 ， 

定义 4.2.1 RER A = [aij] € R. 若 对 所 有 的 i (1 < 
i < n) 都 有 

laiil > 》 loijl, (4.2.15) 
j=1 I 
Izi 
并 且 (4.2.15) 中 至 少 对 一 个 i 有 严格 不 等 号 成 立 ， 则 称 4 为 弱 严 
格 对 角 占 优 的 ; 如 果 (4.2.15) 式 对 所 有 i 都 有 严格 不 等 号 成 立 ， 则 
称 4 为 严格 对 角 占 优 的 . 
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定义 4.2.2 WREE n 阶 排列 矩阵 已 ， 使 
P4PT = | Aun 0 , (4.2.16) 
Aiz A 
其 中 An 是 7 RIE, An Æn-r(O0<r<n) 阶 方 阵 ， 则 称 A 
是 可 约 的 (或 可 分 的 ) ; 反之 ， 如 果 不 存 在 这 样 的 排列 矩阵 ， 则 称 


A 是 不 可 约 的 (或 不 可 分 的 ). 


mÈ A 可 分 ， 则 可 将 方程 组 Ar = b 化 为 
PAPTPz = Pb. 


记 Pr =v,Pb= f ， 则 有 

PRNG 

Ao Az n] 1] 
Jer y # fi EErEE, yM f, BE n — r 维 的 向 量 . 我 们 可 
以 先 解 r 阶 方程 组 


Ant =f, 


RH y, PRA 
Ary + A22y2 = fz, 


解 出 yz. 这 样 ， 就 把 一 个 求解 n 阶 方程 组 的 问题 化 为 求解 两 个 低 
阶 方程 组 问题 了 .这 也 正 是 可 分 这 一 概念 的 由 来 . 
定义 4.2.2 的 一 个 等 价 说 法 是 : W 4 为 n 阶 方 阵 (n > 2) ， 
W = {1,2,... ,n}. 如 果 存 在 W 两 个 非 空 的 子 集 S 和 了 满足 
SUT=W, SnT = 外 
使 得 
ai = 0 (¿e€ S, j€ 7), 


则 称 矩 阵 4 为 可 约 ; 否则 ， 称 4 为 不 可 约 . 
关于 它们 的 等 阶 性 ， 我 们 就 不 证 明了 . 我 们 主要 是 利用 矩阵 
所 具有 的 这 些 特征 ， 来 研究 判别 收敛 的 一 些 条 件 . 
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如 果 一 个 矩阵 不 可 约 ， 并 且 是 弱 严 格 对 角 占 优 的 ， 则 称 该 矩 


阵 为 不 可 约 对 角 占 优 的 例如， 三 对 角 和 矩阵 
2 -1 0 0 


—A- 2 -1 0 


是 不 可 约 对 角 占 优 的 . 

定理 4.2.8 FERF 4 是 严格 对 角 占 优 的 或 不 可 约 对 角 占 优 
的 ， 则 ARR. 

证 明 uE 4 为 严格 对 角 占 优 的 情形 .假设 4 奇异 ， 则 齐 
次 方程 组 Az = 0 有 非 零 解 x. 不 妨 假设 lzi| = = |lzll- = 1, WA 


D QijTj| < < 人 laijl. 


j=1 j=1 
j+ Tzi 


laii| = = |eiizri| = = 


这 与 4 严格 对 角 占 优 矛盾 . 
再 证 4 为 不 可 约 对 角 占 优 时 ， 4 亦 非 奇异 . 仍 用 反 证 法 . 设 
z 满足 ||zll。 = 1 使 得 Ar = 0, 并 定义 
SŠ = {i: l=1)}, 
T = (k : |zx| < 1). 
显然 SUT=W,SNT=0, MET 为 非 空 . 这 是 因为 假设 栈 
为 空 集 ， 则 z 的 各 个 分 量 的 绝对 值 均 为 1 ， 那 么 不 论 i 为 5S 中 的 


何 值 均 有 a 
laii| < > la;;|, 


j=l 
jti 
这 与 4 弱 严 格 对 角 占 优 和 矛盾 . 另外 ,因为 4 不 可 约 , 必定 存在 i,k 


”使 得 
aik Z 0, ¿eS,ke7T7. 
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于 是 ， |aikzk| < |aik| ， 并 且 
la |< 》 loisllzil+ > loisllzjl 
jES ji jeT 
< laj|+ 5 lal 
jES,j+i jeT 
= `laj|, 
Ji 


这 又 与 4 弱 严 格 对 角 占 优 矛 盾 . 因此 ， 定 理 得 证 . n 


从 上 面 定 理 可 以 直接 得 到 下 面 推论 . 


推论 4.2.1 若 4 是 严格 对 角 占 优 的 或 不 可 约 对 角 占 优 的 对 
称 矩 阵 ， 且 对 角 线 元 案 皆 为 正 ， 则 A 正定 . 


证 明 设 入 sg 0, 我 们 考虑 矩阵 A-A. BA A-A REA 
的 对 角 线 元 素 上 增加 了 一 些 ， 所 以 4 — AT 和 4 一 样 是 严格 对 角 
占 优 的 或 不 可 约 对 角 占 优 的 . 因此 ，4 - AT 非 奇 异 . 注意 到 入 < 0 
的 任意 性 ， 即 知 4 的 特征 值 丝 大 于 零 ， 从 而 4 正定 . 口 


定理 4.2.9 若 4 是 严格 对 角 占 优 的 或 不 可 约 对 角 占 优 的 ， 
则 Jacobi 迭代 和 G-S 迁 代 收敛 . 

证 明 若 4 是 严格 对 角 占 优 的 或 不 可 约 对 角 占 优 的 , 则 必 有 
lai| > 0, BI, D 可 道 . 现在 假设 Jacobi ERER B WENE 
值 | > 1, 考察 矩阵 和 AD - L - U, 显然 ，AD - 工 - 也 是 严格 对 
角 占 优 的 或 不 可 约 对 角 占 优 的 ， 因 此 AD — L — U 非 奇 异 . 再 由 

AI- B =I - D7!(L +U) = D-1!(AD-L-U) 
可 推出 
det(M — B) = det(D 1) det(AD — L — U) £ 0, 
这 与 入 是 B 的 特征 值 矛 盾 ， 这 也 就 是 说 B 的 特征 值 的 模 均 小 于 
1 El Jacobi 迭代 收敛 . 
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关于 G-S 达 代 ， 我 们 只 要 考虑 和 矩阵 AD 一 AL 一 U， 用 同样 的 
方法 可 以 证 明 L, 的 特征 值 的 模 均 小 于 1 BB G-S 迭代 收敛 ， 详 
细 的 证 明 留 作 练习 . D 


843 ”收敛 速度 


4.3.1 平均 收敛 速度 和 渐 近 收敛 速度 
任何 一 种 迭代 格式 都 是 根据 某 种 特定 的 规则 ， 构 造 一 个 向 量 
序列 {zk} ， 使 其 极限 为 线性 方程 组 的 解 . 一 般 可 以 表示 成 
zk = Mkzk-1 + gk. (4.3.1) 
当 迭 代 和 矩阵 和 常数 项 与 迭代 次 数 无 关 时 ， 即 为 单 步 线性 定常 迭代 
Tk = Mzk-i + g. 


EAP REEERE, MARR z. 必 满 足 


r), = MT, +g. 
因此 ， 误 差 yk = zk — z, 就 满足 
yk = Myr- = ... = MËyo, 
从 而 
llyell < HM * lllyoll. 


初始 误差 一 般 是 不 知道 的 ， 所 以 通常 用 |M4 的 大 小 来 刻画 迭代 
方法 收敛 的 速度 ， 因 此 ， 定 义 
R;(M) = 
称 其 为 大 次 迭代 的 平均 收敛 速度 . 
注意 ， 如 果 和 迭代 过 程 收 仿 ， 则 当 大 一 oo 时， |MEl| 一 0, 故 
3⁄4 k 充分 大 时 ， 总 有 R,(M)>0. Ë R, = RK(M)> 0, FE 


t 
o= (1) ~ Mt = e7% 


就 表示 误差 范 数 在 上 次 迭代 中 平均 每 次 迭代 所 缩减 的 比例 因子 . 
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一 一 一 一 一 4.3.2 
k ? ( ) 


如 果 有 两 个 欠 代 符 阵 G HI H, 而 RH) > Ri(G)>0, 我 
RKT k 次 迭代 来 说 ， 对 应 于 H 的 迭代 法 比 对 应 于 G 的 迭 
代 法 快 . 

如 果 M 是 对 称 和 矩阵 (或 Hermite 和 矩阵， 或 正规 矩阵 ) ， 则 显 
然 有 

J|MË||, = (o (M), 

所 以 

Ri(M) = -In p(M), (4.3.3) 
它 与 无关， 但 一 般 情况 下 R, ERT k 的， 这 时 计算 Re 也 
就 很 复杂 另外， 在 比较 两 个 迭代 矩阵 G 和 H 时 ， 可 能 对 某 些 
k # Ri(G) < Ri(H), 而 对 另 一 些 k 又 有 Re(G) > R,(H). 好 在 
我 们 是 研究 迭代 过 程 的 收敛 性 ， 最 终 是 通过 大 oo 来 实现 的 . 因 
此 ， 为 了 刻画 整个 迭代 过 程 的 收 和 敛 速度 ， 我 们 自然 考虑 

R. (M) = Jim Rr(M), 

这 就 是 渐 近 收敛 速度 ， 


定理 4.3.1 设 单 步 线性 定常 迭代 矩阵 为 M, 则 有 
ROOM) = -Inp(M). (4.3.4) 


证 明 ”只 需 证 明 lim |M*|E = p(M) 即 可 ， 因 为 
(p(M) 关 = p(M*) < Mt， 
所 以 
p(M) < ||M*||t. 
另 一 方面 ， 对 任 给 的 。 > 0, 考虑 矩阵 
B,=— M. 
“ p(M)+e 
显然 ， p(Be) < 1. 于 是 ， 由 定理 2.1.7 知 ， lim Bs = 0. 因此 ， 
存在 自然 数 K, 使 当 k > K 时 ， 有 
IIBšII < 1, 
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即 

Isll < (p(M) + €)". 
从 而 我 们 已 经 证 明了 : 对 任 给 的 e > 0, FEARN K, 使 当 k > K 
时 ， 有 

p(M) < ||M*||t < p(M) +e, 

即 

im IM*Il = p(M) 

u 
从 上 面 定理 看 到 , 渐 近 收敛 速度 是 迭代 矩阵 谱 半径 的 负 对 数 . 

为 了 更 具体 地 说 明和 迭代 法 的 收敛 速度 ， 我 们 来 考虑 模型 问题 . 


4.3.2 ”模型 问题 


模型 问题 是 指 用 五 点 差分 格式 求解 单位 正方 形 区 域 的 Possion 
方程 第 一 边 值 问题 : 
Ou u 
Au= ga + Bi TTIE) 0<z,y<], (4.3.5) 
ulr = 内 


HHT 为 正方 形 区 域 的 边界 . 


i=0 i=11i=21=31=4 


图 41 图 4.2 
为 把 微分 方程 离散 化 , 把 正方 形 的 每 边 n 等 分 , 并 令 h = T, 
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用 两 组 平行 于 坐标 轴 的 等 距 直线 


z= ih, i =1,2,... n — 1, 

y = jh, j=1,2,...,n—1 
把 单位 正方 形 分 割 成 m2 个 小 正方 形 ， 小 正方 形 的 顶点 为 (Tiy), 
i, j = 0,1,2,... ,n. n = 4 WE mE 4.1 所 示 . 用 二 阶 差 商 


Ou 1 
Ia lacy) = pa [u(zi- Y4) — 2u(zi Y) + UTir1, Yi)]| + O(h’), 
u 1 
82 (ig) = ga Ulti y; 1) — 2u(zi,y;) + u(z;,y;+1)] + O(h°), 


代入 (4.3.5) 后 ， 再 用 wi; 代替 u(zi,y;) ， 并 略 去 误差 项 得 
4u;; — (uiti j + Uii, + Uijt + Uij-i) = h? fij, 


ij=1,2,... ,nl 


(4.3.6) 
Uio = Qio, Uin = in, t =0,1,2,...,7, 
uo = Boj, Unj = Ón,j, j= 0,1,2,... ,n. 
现 假 定 $ = 0, 将 (4.3.6) 写成 矩阵 形式 即 为 
T,-,U + UT, 1 = h2 F, (4.3.7) 
其 中 l 
U = [u], F= [fy] 
2 —1 
-1 `. n—1)x(n—1) 
Ti = e R( . 
.. `. —1 
-1 2 


若 把 正方 形 的 顶点 按 如 图 4.2 所 示 的 次 序 排列 ， 即 先 按 ; 由 
小 到 大 ，j 相间 的 按 ;由 小 到 大 ， 这 种 排列 方式 叫 “ 自 然 顺序 排 
Ar. 用 自然 顺序 排列 后 得 到 的 线性 方程 组 具有 下 面 形 状 
Au = h2 f, 
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其 中 
Tn-1 二 27n-1 一 1n-1 


A= —In-1 
yy 
—In-1 Ta- + 2in1 

易 知 ，4 是 (n - D? 阶 矩 阵 ， 如 果 结 点 的 排列 次 序 改 变 了 ， 4 的 
形状 要 改变 ， 但 可 以 证 明 4 的 特征 值 仍旧 不 变 . 

上 面 的 系数 矩阵 4 具有 这 样 几 个 特点 : 

(1) 4 是 块 三 对 角 和 矩阵 ， 共 有 五 条 对 角 线 上 有 非 零 元 素 ; 

(2) A 是 不 可 约 对 角 占 优 的 ; 

(3) 4 是 正定 对 称 的 ， 而 且 是 稀疏 的 

容易 验证 Tai 的 特征 值 为 A = 2(1 — cos E), 对 应 的 单位 
特征 向 量 为 


T 
5 . . 5 -Di 
z; = a m /Lsin YE,..., JP = Di . 
n n n n n n 


利用 (4.3.7), 由 此 即 可 推出 4 的 特征 值 为 

Apg = Àp + jq = 2 (2 — cos = — cos T) ， (4.3.8) 
对 应 的 特征 向 量 we 为 矩阵 zzy 按 列 “ 拉 直 ”得 到 的 (n — 1)2 维 
向 量 ， 即 


rr am r -Derarr 
n p 本 p sin — t) ` (4.3.9) 


4.3.3 Jacobi 和 G-S 选 代 的 渐 近 收效 速度 . 
容易 导出 ， 用 Jacobi 和 迭代 计算 模型 问题 的 迭代 矩阵 为 已 = 
D-1(D- A) =I- 14 其 计算 公式 为 
up = (uy ulh + uy + ued) + F fs (4340) 


ij=1,2,...,n — 1. 
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而 对 应 的 Jacobi 迭代 和 矩阵 B 的 特征 值 问题 为 


ATV = gV + Vizi + Vij-1 + Vi j+), (3.11) 
Vio = Vin = Vo; = V,; = 0. 
1 
因 B=1- A, 所 以 B 矩阵 特征 值 为 
1 
Hp =1— 72r 
_ 1 pr qr _ 
= z [cos + cos £), p,q =1,2,... ,n — 1. 


于 是 p(B) = cos = = cos hr. 这 样 我 们 就 得 到 用 Jacobi 迭代 计算 
模型 问题 时 的 渐 近 收敛 速度 
R. (B) = —In p(B) = ~ lncoshr ~ 5mh, h — 0. 
把 G-S IË RISA sl isjE E, ERER L, = (D -LU 
的 特征 值 问题 是 


AMéij = 了 OAS-17 + Aéij-1 + Eit1, + 6;+1), 
(4.3.12) 


ko = in = @; = Enj = 0. 
BAZO, PER 6 = XE V 得 
和 lt 者， = TAE ay + aH Vj 
A Vy +A NV, 


1 +; 
= 了 (Vi + Vig- + Vipi + Via), 


+L j j+) 


Bp 
AIV; = EVs + Vij- + Vipi j +Vij+) 
由 边 值 为 零 ， 并 对 照 (4.3.11) ,可 以 看 出 入 是 L, 的 非 零 特征 值 当 
且 仅 当 A 是 B 的 非 零 特征 值 ， 于是， 用 G-S 迭代 计算 模型 问 
题 时 的 渐 收敛 速度 为 
R.(Li) = —Ino (Li) = -2Inp(B)~ mh, hoa0. 
这 说 明 G-S 迭代 比 Jacobi 迭代 快 一 倍 . 
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此 外 ， 需 注意 的 是 运算 量 也 是 作为 比较 各 种 迭代 法 以 及 直接 
法 的 优 劣 的 重要 标志 . 


844 ” 超 松弛 迭代 法 


本 节 介 绍 一 种 新 的 迭代 算法 ， 它 是 G-S 迭代 的 引 深 和 推广 , 
也 可 看 作 是 G-S 迭代 的 加 速 . 


44.1 ”和 迭代 格式 


大 家 知道 ， G-S 迭代 格式 为 
Te+1 = D Laky + D 1Uxmny + D'A. 
现在 令 Ar = tkp 一 zk, 则 有 . 
Zk+1 = Zk + ÔT. (4.4.1) 
这 就 是 说 ， 对 G-S 迭代 法 来 说 ， zx+1 可 以 看 作 在 向 量 z; 上 加 上 
修正 项 Ar 而 得 到 的 . 若 修 正 项 的 前 面 加 上 一 个 参数 w ， 便 得 到 
松弛 法 的 计算 公式 
Zk+1 = Tk +u Ár 
=(1-—wu)zk t+w(D lLzaai + D -1lUz E + D 1b). (4.4.2) 
用 分 量 形式 表示 即 为 


i—1 n 
zt) = (1 一 aJ) +o (5 b zD) + >` bi zi) + gi), 
j=1 j=i+1 


(4.4.3) 
其 中 w 叫做 松弛 因子 . 35 o > 1 时 叫 超 松 弛 ， 当 o < 1 工时 叫 低 松 
Bb; o = 1 时 就 是 G-S 迭代 .我 们 把 超 松弛 和 迭代 简称 为 SOR. 因 
3 (I -wD L) 存在 ， 所 以 (4.4.2) 可 以 改写 为 
Tk+1 = Lure +w(D — wL)-b, 
其 中 
L. = (D —— D)” 1[(1 — w)D + GU], 
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称 作 是 松弛 法 的 迭代 和 矩阵， 下面 我 们 来 研究 SOR 的 收敛 性 判别 
和 松 驰 参数 w 的 选取 范围 . 


4.4.2 ”收敛 性 分 析 
定理 4.4.1 SOR 收敛 的 充分 和 必要 条 件 是 pLu) < 1. 
另外 ， 也 要 给 出 一 些 判 别 SOR 收敛 的 其 他 条 件 ， 首 先 有 
定理 4.4.2 SOR 收敛 的 必要 条 件 是 0 < w < 2. 
证 明 ”因为 SOR 收敛， 推出 p(L,) < 1 ， 从 而 
|det(L.,)| = [A1 -A2 ++ An] < 1, 
其 中 ài, A2.. ,Mn 是 L. BJ n 个 特征 值 ， 再 由 
Lo = (I — WDLY ~ I +o D U), 
det[(1 ~ w)I +əD-1U] = (1 ~ w)”, 
det(T —GD-1L) "1 = 1, 
易 知 
|det(L,)| = |det(T - wD-1L)-1||det[(1 - w)I +wD-i0] 
=|(1—)"|= JA A21 An] < 1, 
从 而 有 |1 一 wi <1,ËBll 0 < < 2. 定理 得 证 . D 
这 个 定理 说 明 ， 对 任何 系数 矩阵 ， 若 要 SOR kk, VIER 
松弛 因子 we (0, 2). 下 面 再 给 出 一 个 充分 条 件 . 
定理 4.43 若 系数 矩阵 4 是 严格 对 角 占 优 的 或 不 可 约 对 角 
占 优 的 ， 且 松弛 因子 we (0, 1) ， 则 SOR 收敛 . 
证 明 “与 定理 4.2.9 的 证 明 类 似 ， 请 读者 自己 补 出 . n 


对 正定 矩阵 也 有 很 好 的 结果 . 


定理 4.4.4 若 系数 矩阵 是 实 对 称 的 正定 和 矩阵, 则 当 0 <w < 2 
时 SOR 收敛 . 
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证 明 设 入 是 L 的 任 一 特征 值 ，z 为 对 应 的 特征 向 量 ， 则 
有 
(D —L) 1[(1 — w)D + oSU]z = àz, 
或 
[1 - w)D +wLT]z = A(D — wi)z. 
用 z* 左 乘 上 式 两 边 ， 得 
z*[(1--w)D+wFIz = Xz*(D — wL)z. 
MES z*Dz = ó, z*Lz =a +iñ , WE z*LTzr =e - if, W 
可 推出 
(L-w)5+wla 一 iD) = À(ó — w(a + iß)). 
两 边 取 模 得 A= [(1 — w)ó + wa}? + w? 8? 
T (-—wa)? + 282 
因为 
[[1—a)ó + wa]? +w282 — (ó — wa)? — w? p? 
=[ó — (ó — a)? — (ó — wa)? 
=uó(ó — 2a)(w — 2), 
并 注意 到 当 4 正定 时 有 6 fll ó — 2a 都 大 于 零 , 因此 , 340 < < 2 
时 ， 就 有 AP < 1 ， 也 就 是 说 SOR 收敛 . D 


4.4.3 ”最 佳 松弛 因子 

因为 SOR 的 谱 半 径 依赖 于 w ， 当 然 会 问 能 否 适 当选 取 w 使 
收敛 速度 最 快 ? 这 就 是 选择 最 佳 松 弛 因子 的 问题 ， 

要 研究 收敛 速 度 在 w 选取 何 值 时 为 最 快 ， 我 们 考虑 特征 值 问 
题 


L.z = àr, 
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即 
(A-1 +w)D -ML — wU]z = 0. (4.4.4) 
此 外 ， 由 于 Lo IIE à, An 满足 
ÀM: A2 An = (1 —w)", 
wwz, Lo 无 零 特 征 值 . 
对 于 模型 问题 ， 在 自然 次 序 排列 下 ， (4.4.4) 可 写成 
N +w- 1)u¿; 一 Tuis +Àuij-1 +u + ij+1) = 0, 
Uio = Uin = uo; = Unj = 0, 0 <t, < n. 
下 面 分 两 步 来 讨论 
(1) 找 出 Jacobi 迭代 矩阵 B WIES L. 的 特征 值 之 间 的 
关系 . 对 入 夭 0 作 变换 
uij = (ŁAŁ) V, 


则 得 
LVij 一 gV- +Vij—-1 + HH j + Vij+1) = 0, 
其 中 入 十 由 一】 
p= + wAl/2 
由 此 可 知 ， 当 w 冯 1 时 ， 若 入 是 工 , 的 特征 值 ， 则 由 
A+t+w—-1) = pw A (4.4.5) 
或 


(A +w- 1) = tuwi? 


所 确定 的 两 个 u 都 是 矩阵 B 的 特征 值 . 
反 过 来 ，w 关 1, 车 4 是 B 的 特征 值 ， 将 上 述 过程 逆 推 ， 不 
难得 知 ， 由 (4.4.5) 确定 的 两 个 非 零 和 必 是 L. 的 特征 值 . 
前 面 关 于 w 了 1 的 限制 是 可 去 掉 的 . 事实 上 ，w = 1 (4.4.5) 
退化 为 
A? = A, 
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可 以 看 成 是 w 一 1 时 的 极限 情况 ，B 的 特征 值 为 Hui, 对 应 的 L. 
的 特征 值 为 0, uz. 

因此 ， 我 们 可 以 归纳 出 : L. 的 特征 值 入 和 B 的 特征 值 e 
间 有 关系 式 (4.4.5), 即 若 X 是 Lo 的 一 个 特征 值 ， 则 由 (4.4.5) 确 
ER u È B 的 特征 值 ， 反之, 若是 B 的 特征 值 ， 则 由 (4.4.5) 
确定 的 入 是 L. 的 特征 值 . 而 且 , 若是 五 的 特征 值 ， 则 -ut 
是 B 的 特征 值 . 

(2) 确定 p(L,) Bñ o 的 变化 的 情况 . 

从 前 面 的 讨论 已 经 知道 ， 二. 的 特征 值 完全 由 松弛 参数 o 和 
Jacobi ERE B 的 特征 值 4 确定 . W O< 4< 1 是 B 的 一 个 
特征 值 ，0 < w < 2, 则 由 方程 

入 十 由 一 1 = pwit, (4.4.6) 
可 得 L. 的 两 个 特征 值 分 别 为 


因为 我 们 关心 的 是 Lo 的 谱 半径 随 o 的 变化 情况 ， 因 此 我 们 感 兴 
趣 的 是 


M(w, p) = max{|A+ (o, 1)), JA- (w, 4)1}. (4.4.7) 
由 二 次 方程 (4.4.6) 的 判别 式 为 零 ， 即 
A = (uu)? — 4(o — 1) = 0 (4.4.8) 
得 位 于 (0, 2) 之 内 的 唯一 根 为 
Wy = — 0 <uj, < 2. (4.4.9) 


这 样 ， 当 0<w<w, 时 ，A>0, 从 而 有 
A+(w n) > à- (u, n) > 0; 
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而 当 Wy < Ç < 2Bf, A <0, 故 à+ (w, n) 5 à- (w, p) EAHME 
数 ， 而 且 有 | 和 +(w,p)| = |X-(o,n)| = —- 1. 综合 上 面 的 讨论 即 有 
M(w,n) prew 0<w Su 

o — 1, Wp < u < 2. 
AAE n, 9w A 0 32) 2, 看 Mou) 的 变化 情况 . 首 
先 ， 易 证 
M(o, n) < 1. (4.4.10) 
事实 上 , 当 w <w< 2 时 上 式 显 然 成 立 ; 而 当 0 < < wj 时 ， 有 
2 
MG 及 = 和 <( 生 +(- 和 全)) =1 
其 次 ， 当 0 < < o, tit, RIIA 


dM (w, p) =2M(w ME (g oR? 一 1 
dw 2 2J/(m#)2— (o 1) 


= M(o, u) Mot <0. (4.4.11) 
(学 ) -wD 
于 是 ， 当 w 一 ws 一 0 时 ， 有 
dM (w, u) 1— Vi-p _ 
~ig 0 MO NIT TTL 
(4.4.12) 


综合 上 面 的 讨论 可 知 ， 对 固定 的 4, M(w,p) 在 0<w< wb 内 
是 严格 单调 下 降 的 , 而 且 在 w 达到 极 小 ,在 极 小 点 的 左 侧 导 数 为 
— OO. 
再 固定 o, 考虑 M(o, n) 随 4 的 变化 状态 . 若 0< n < x <1 
是 B 的 两 个 特征 值 ， 则 有 
M(w, m) < M(w, 12), 
BD Mw, u) 是 /的 增 函 数 ， 事 实 上 ， 当 wp S o < 2 i, EAR 
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RRL: 当 0<w 和 wo 时 ， 有 
M(w,12) - M(w, m) = (M(w, p2)? + M(w,m)È?) (== m) 


= “(2 ~ = ) > 
Te -(w-1)+y(#) -(w-1) 
M o, <W S Wu 时 
M(w, m2) Z wp — 1 2 w — 1 = M(w, no). 

这 样 ， 对 B 的 每 一 个 给 定 的 特征 值 4 ， 我 们 都 可 以 画 出 一 条 
表明 M(w, u) 随 w 变化 的 曲线 ; 因为 对 确定 的 w ， Mw, u) 又 是 
u 的 增 函 数 ， 也 就 是 说 ， 对 B 的 较 大 的 特征 值 所 画 出 的 曲线 应 在 
B 的 较 小 特征 值 画 出 的 曲线 的 上 边 , 而 p(B) 所 对 应 的 则 是 plo), 
在 最 上 边 ， 参 见 图 4.3. 

M(w, u) 


o ` 1 Wopt 2 
图 4.3 
综合 上 面 的 讨论 ， 最 后 得 到 结论 ， 随 着 从 0 增加， pLu) 


减少 ， 直 至 > 


W = Q, = —— ———>—ə]h. 
° I4 V1- p(B} 


BF, p(L.) 达到 极 小 
1~ V1- (B) 
p(L.,,.) = 1+ /1- pB} (4.4.14) 

w 再 增加 时 ， p(L。) 开始 增加 . 因此 ， wopt 称 为 最 佳 松 弛 因子 . 
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(4.4.13) 


4.4.4 AERAR E 


由 (4.4.14) 可 得 
Roo (L...) = —Inp(L....) =-—1] 1— V1- (B) 


n —Vvu 
1+ /1- p(B)? 
_ 1 — sin(hr) 
= In r= sin(hr) 2hr, h> 0. (4.4.15) 


从 上 面 结 果 看 出 ， SOR 收敛 速度 要 比 Jacobi 迭代 和 G-S 迭代 的 
收敛 速度 快 得 多 . 

为 了 对 Jacobi 和 迭代 法 、 G-S 迭代 法 和 SOR 迭代 法 的 收敛 速 
度 有 一 个 更 清晰 的 了 解 , 我 们 来 看 一 个 具体 的 例子 . 现 假定 模型 问 
题 中 的 f(z,y) = 0, 于 是 其 真 解 为 wz,y) = 0. F h = 0.05, 初始 向 
Et zo 的 分 量 都 取 为 1, 精度 要 求 为 zx - zs|lco < 107°, 则 Jacobi 
PEREI 1154 X, G-S 方法 需 迭 代 578 x, MA w = 1.737 作 
为 松弛 因子 的 SOR 方法 仅 需 迭代 54 K. 由 此 可 见 ， 对 一 些 特殊 
的 问题 用 带 最 佳 松弛 因子 的 SOR 方法 是 很 有 效 的 . 

上 面 针 对 模型 问题 所 推导 出 的 结论 是 Franke 给 出 的 ， 后 来 
Young 进行 了 推广 . 


4.4.5 ” 超 松 弛 理论 的 推广 


前 面 的 讨论 中 , 我 们 是 对 模型 问题 来 分 析 SOR 迭代 和 矩阵 的 谱 
半径 与 Jacobi 迭代 和 矩阵 谱 半径 之 间 的 关系 ， 事 实 上 我 们 可 以 把 这 
些 理论 推广 到 更 广泛 的 情形 . 


定理 4.4.5 设 方程 组 Ar = 的 系数 矩阵 4 有 如 下 形式 


D Kı 
H, D: K 
A = H, Ds `: . y (4.4.16) 
` `. Kea 
Hi- Di 


130 


其 中 Di(i = 1,2,... t) ERRINA. Æ B, L, 和 L. 分 
别 是 Jacobi fR, G-S 迭代 和 SOR ERER, HRE B 的 特 
征 值 均 为 实数 ， 那 么 
(1) # p Z O 是 矩阵 巨 的 一 个 特征 值 ， 则 由 
(A +w = 1}? =w pA 
或 
(X +u -1)= +upÀ5 


所 确定 的 两 个 入 是 L. 的 特征 值 ， 反之 , # AXZ 0 是 L 的 特征 
值 ， 则 由 上 式 确定 的 两 个 六 都 是 B 的 特征 值 ; 

(2) p(L1) = (0(B))2, R. (L.) = 2R, (B); 

(3) 车 p(B)<1，0<w<2， 则 SOR Kk&, R jS fEyv abis 


子 为 
2 


vo = TF AE 
相应 的 谱 半 径 为 


(L...) = 1- /1- p(B}. 
p Wopt 1 十 1 — p(B)?” 


(4) R< (Ln) ~ 2V 2Ræ(B), p(B) > 1-0. 
证 明 ”我 们 只 需 指出 系数 矩阵 为 (4.4.16) 形状 的 Jacobi 和 迭代 
和 矩阵 如 的 特征 值 和 G-S 迭代 和 矩阵 L., 的 特征 值 具有 和 模型 问题 相 
同 的 关系 即 可 . 此 时 B 的 特征 值 问题 是 求 复数 py 和 非 零 向 量 {V} 
满足 (假定 Ho = 0, K, = 0) 
Hi-1Vi-1 + pDiVi + K Va i = 0, 
le=0, V+ = 0; 
而 L. 的 特征 值 问题 则 是 计算 复数 和 非 零 向 量 {wi} 满足 
w +(À +u — Diuw twKiuitr = 0, 


(4.4.17) 


(4.4.18) 
uo = 0, Ui+1l = 0. 
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AZO, FER u = A3V; ， 则 有 
pree +A +w- DD AAESV,+ X$ wK: Va = 0, 


Vo=0, Ve =0. 
两 边 消去 F 后 再 除 以 w, 得 
入 十 由 一 1 
Hi_i1Vi-i+ a PV: + KiVi+1 = 0, (4.4.19) 
V=0, V =0. 
把 (4.4.19) 5 (4.4.17) 相 比较 ， 就 可 以 得 到 B WE u5 L. 
的 特征 值 和 之 间 与 (4.4.5) 完全 一 样 的 关系 式 . 这 样 ， 只 需 把 前 面 
的 证 明 平移 过 来 即 可 证 明 结论 (1), (2) 和 (3) 成 立 . 
至 于 (4) 的 证 明 ， 可 以 假设 
p=p(B)=1-o, a 一 0+, 


则 有 
-pIo yL P 
Ro (L.,,,) = LA 2V2a, a>0+. 
再 注意 到 
Rw(B)= -lnp~a, a 一 0+, 
便 得 到 结论 (4). D 


上 述 定理 要 求 线性 方程 组 的 系数 矩阵 是 块 三 对 角 和 矩阵 ， 而 且 
其 对 角 块 为 对 角 和 矩阵 ， 对 角 块 是 对 角 阵 这 一 要 求 太 苟 刻 了 些 . 我 
们 上 面 介 绍 的 模型 问题 ， 按 自然 次 序 排列 ， 它 的 系数 矩阵 虽 是 块 
三 对 角 和 矩阵， 但 其 对 角 块 并 不 是 对 角 阵 ， 然 而 我 们 却 已 经 对 它 建 
立 了 超 松弛 理论 . 实际 上 超 松 弛 理论 可 以 适用 于 一 大 类 更 为 广泛 
的 矩阵 ， 为 此 ， 我 们 引进 相 容 性 概念 : 


定义 4.4.1 i$ AE n 阶 方 阵 ， ië W = (1,2,... ,n). RA 
是 具有 相 容 次 序 的 矩阵 , 如 果 对 某 个 上 ， 存 在 W 的 t 个 互 不 相交 
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的 子 集 51,S2,.… ,St 满足 Ús= W , 使 得 每 个 非 零 的 非 对 角 线 


元 素 a #0li Z 的 两 个 下 标志 7 满足 ， #iesS , MM ; <i 
时 ， j € Sr-1; MA j > i Bf, j € Sr-+1. 


作为 一 个 例子 ， 考 虑 模型 问题 的 系数 矩阵 Axo 若 我 们 取 
S=0, 56={24}, Sa = {3,5,7}, 
S41=1{6,8), S; = {9), 

可 以 验证 这 些 子 集 是 满足 定义 的 ， 也 就 是 说 4 是 具有 相 容 性 次 序 
的 矩阵 

对 具有 相 容 性 次 序 的 矩阵 ， 亦 可 建立 矩阵 L. 和 w 之 间 特征 
值 的 关系 . 


定理 4.4.6 HER 4 具有 相 容 次 序 ， 且 对 角 元 全 不 为 零 ， 
并 假定 Jacobi 迭代 矩阵 B = I- DA 的 特征 值 均 为 实数 ， 那 么 

Q) 车 4 关 0 是 B 的 特征 值 ， 则 -a 也 是 B 的 特征 值 ; 

(2) # u #0 Æ B 矩阵 的 一 个 特征 值 ， 则 由 (4.4.5) 所 确定 的 
两 个 入 是 L. 的 特征 值 ， 反之 , # 入 头 0 是 L 的 特征 值 ， 则 由 
(4.4.5) 确定 的 两 个 u 都 是 B 矩 阵 的 特征 值 ; 

(3) p(L1) = (p(B))?; Roo(Li) = 2Roo(B); 

(4) 车 p(B) < 1,0<w<2， 则 SOR 收敛 ， 且 最 佳 松弛 因子 
wopt 由 (4.4.13) 确定 ， 相 应 的 谱 半 径 pLu) 由 (4.4.14) 确定 ; 

(5) Roo(Lu,,) ~ 2V2RælB), p(B)—1-0. 

因为 对 角 元 非 零 , 且 具 有 相 容 次 序 的 矩阵 , 按照 51, 5,... S, 
重 排 次 序 就 得 到 一 个 形 如 (4.4.16) 的 矩阵 ， 并 且 将 SOR 应 用 于 它 
们 二 者 所 得 到 的 用 分 量 表示 的 从 代 公 式 是 完全 一 样 的 ， 相 应 的 和 迭 
代 和 矩阵 相似 ， 因 此 超 松弛 法 的 这 些 结论 自然 成 立 . 

最 后 我 们 再 给 出 如 下 定理 . 


定理 4.4.7 如 果 和 矩阵 4 对 称 正 定 , 并 且 具 有 相 容 次 序 ，B = 
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I-D-A, ， 则 8B 的 特征 值 全 是 实数 ， 并 且 o(B)<1. 


证 明 因为 D = diag (aa) 为 正定 对 角 和 矩阵 ， 故 有 
B=I-D-l1A= D-hM(I — D: ADÍ5)D, 
即 B 与 对 称 和 矩阵 1 D-34D- 相似 ， 因 而 B 的 特征 值 全 为 实 
数 . 
因为 对 于 正定 对 称 和 矩阵 来 说 ， G-S 迭代 是 收敛 的 ， 再 由 定理 
4.4.6 即 可 推出 p(B) < 1. o 


SOR 方法 收敛 的 速度 比 G-S 方法 和 Jacobi 方法 在 量 级 上 有 
改进 ， 是 一 个 很 有 效 的 方法 . 还 以 模型 问题 为 例 ， 若 取 h = 0.1 ， 
这 时 Roo(B) = 0.05 ,而 R.(L,..) = 0.63. 

松弛 因子 的 选择 ， 对 计算 也 是 很 有 影响 的 .在 实际 计算 中 ， 
因为 p(B) 不 一 定 知道 ， 所 以 wopt 也 不 知道 ， 如 何 求 近似 的 wopt 
呢 ? 通常 是 选用 不 同 的 w 的 值 ， 然 后 用 相同 的 初始 向 量 ， 进 行 试 
算 迭 代 相 同 次 数 ， 比 较 它 们 的 残 向 量 ， 选 择 使 残 向 量 最 小 的 o 作 
为 松弛 因子 另外， 根据 (Lu) Bü o 变化 的 曲线 看 ， 我 们 在 不 能 
得 到 准确 的 最 佳 松弛 因子 时 ， 宁 可 取得 稍 大 一 些 . 


J = 
1. 设 方程 组 Ar = b 的 系数 矩阵 为 
2 —- 1 1 2 —2 
A=|1 1 1|, &=|1 1 1 
1 1 -2 2 2 1 


证 明 ， 对 A 来 说 ， Jacobi 迭代 不 收敛 ， 而 G-S 迭代 收敛， 而 对 
A: 来 说 ， Jacobi 迭代 收敛 ， 而 G-S 迭代 不 收敛 . 
2. 设 B e R"x" 满足 p(B) = 0. 证 明 对 任意 的 g, zo € R”, XË 
代 格 式 
Zk+i = Brk +g, k=0,1,... 
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最 多 迭代 n 次 就 可 得 到 方程 组 z = Br + g 的 精确 解 . 
3. 考虑 线性 代数 方程 组 
Az = b, 
这 里 
1 0 a 
4=|10 1 0 
a 0 1 


(1) a 为 何 值 时 ， 4 是 正定 的 ? 

(2) a 为 何 值 时 ， Jacobi 迭代 收敛 ? 

(3) a 为 何 值 时 ， G-S 和 迭代 收敛 ? 

4. 证 明 : 若 4e R"” 非 奇异 ， 则 必 可 找到 一 个 排列 方 阵 P 
使 得 P4 的 对 角 元 素 均 不 为 零 . 

5 # A 是 严格 对 角 占 优 的 或 不 可 约 对 角 占 优 的 ， 则 G-S z 
Rid. 

6. 2 A = (aig) € RU Erik ai fa c hat. 试 证 : 

[det(A)| > He -> lasl). 
j: 

7. 设 4 EE RH EXT 3 BJ dESy PF RPR E. 证 明 : 若 求解 
Ar =b Z G-S 迭代 方法 对 任意 初始 近似 rO Ek, MU 4 必 是 
正定 的 . 

8. 若 存在 对 称 正 定 阵 已 ， 使 

B=P-HTPH 
为 对 称 正定 阵 ， 试 证 迭代 法 
Teti = Hzkr + b, k=0,1,2,... 
收敛 . 
9. 对 Jacobi 方法 引进 迭代 参数 w > 0, Bp 


Zk+1 = Zk 一 wD! (Azp — b) 
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或 者 
Tk+1 一 (一 wD-I4)zk +u D"1b, 

称 为 Jacobi 松弛 法 (简称 JOR 方法 ). WEM: 当 Az = b BJ Jacobi 
方法 收敛 时 ， JOR 方法 对 0 < o < 1 收敛 . 

10. WEH: 若 4 为 具有 正 对 角 元 的 实 对 称 阵 ， 则 JOR 方法 收 
敛 的 充分 必要 条 件 是 4 及 2w-1D - 4 均 为 正定 对 称 阵 . 

11. 证 明 : ERRER 4 是 严格 对 角 占 优 的 或 不 可 约 对 角 占 
优 的 ， 且 松弛 因子 we (0,1) ， 则 SOR W. 


12. 证 明和 矩阵 
4 -1 -1 0 
az- 4 0 -1 
-1 0 4 -1 
0 -1 -1 4 
是 具有 相 容 次 序 的 . 


13. 设 Ta € R” 是 (4.3.7) 中 的 对 称 三 对 角 和 矩阵 . 
(1) 给 出 Tn 的 Cholesky 分 解 ; 
(2) 给 出 T 的 列 主 元 的 三 角 分 解 ; 
(3) 利用 Tn 的 特征 值 和 特征 向 量 设 计 一 种 求解 线性 矩阵 方程 
(4.3.7) 的 算法 ， 并 计算 出 你 所 设计 算法 的 运算 量 . 
` 14. 设 4 为 如 下 的 块 三 对 角 阵 


D. C2 0 

B, D? Gs 

A= B; Ds 
' V C, 
0 B, D, 


其 中 D, e R™*™ FRR, mt. +n, =n. 试 证 : 对 任意 的 
nEC\{0}, A 
det( D 一 ACT 一 =C) = det(D — Cr — Cu), 
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其 中 
D= diag (Di,. .. , D,), 


0 0 0 C 0 
B . . 
Cr = 一 2 ; Cu = 一 
. G 
0 B, 0 0 0 


15. 对 于 第 14 题 所 述 的 矩阵 4 ,证明 : 342 Z 1 BF, A EAL) 

的 充分 必要 条 件 是 存在 4AEe A(B) ， 使 得 
A= 了 + (Wp? — 4w + 40), 
其 中 
B=DrICrz+Ccr， Lo =(D -WCL [0 —)D + Cu]. 

16. 设 形 如 第 14 题 所 述 的 矩阵 4 使 对 应 的 Jacobi 迭代 矩阵 
B 的 特征 值 均 为 实数 ， 并 假定 p(B) < 1. 试 证 : 

(1) Ro(L1) = 2R,— (B); 

(2) pLa) = min, p(Lw) = w — 1, 其 中 


' T+ Vi 
(3) 290(B)(R<(L,))!2 < R< (L.,) < Rolli) +2(R,<(Li))1/2. 
上 机 习题 
1. 考虑 两 点 边 值 问题 


y(0) =0,y(1) = 1. 
容易 知道 它 的 精确 解 为 


-a _z 
y= — i: - e “ ) + arz. 
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为 了 把 微分 方程 离散 ， 把 [0, 区 间 ”等 分 ， 令 h = Z, 
Zi = ih, i= 1,2,... ,n — 1, 
得 到 差分 方程 


Vii — 2yi 十 Wi Yiti— Yi 
E 一 — zZ 
h? + 


简化 为 
(e + h)yia1 — (2e + h)yi + eyi-1 = ah2, 
从 而 离散 后 得 到 的 线性 方程 组 的 系数 矩阵 为 
—(2e + h) E 十 大 
E —(2e + h) E+h 
A= E —(2e +h) ` 
e+h 
f £ —(2e +h) 
对 e = 1,a=$,n = 100 ,分 别 用 Jacobi, G-S 和 超 松弛 和 迭 
代 方 法 求 线性 方程 组 的 解 ， 要 求 有 4 位 有 效 数字 ， 然 后 比较 与 精 
确 解 的 误差 . 
Xf e = 0.1, e = 0.01, e = 0.0001 ， 考 虑 同样 的 问题 . 
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第 五 章 。 共 鲍 梯度 法 


大 家 已 经 看 到 ,在 使 用 SOR 方法 求解 线性 方程 组 时 ， 需 要 确 
定 松弛 参数 o, 只 有 系数 矩阵 具有 较 好 的 性 质 时 ， 才 有 可 能 找到 最 
佳 松弛 因子 wopt, 而 且 计算 wopt 时 还 需要 求 得 对 应 的 Jacobi 矩阵 
B 的 谱 半径 ， 这 常常 是 非常 困难 的 . 

这 一 章 ， 我 们 介绍 一 种 不 需要 确定 任何 参数 的 求解 对 称 正定 
线性 方程 组 的 方法 一 - 共 轿 梯度 法 (或 简称 CG 法 ). 它 是 50 ER 
初期 由 Hestenes 和 Stiefel 首先 提出 的 ， 近 20 年 来 有 关 的 研究 得 
到 了 前 所 未 有 的 发 展 ， 目 前 有 关 的 方法 和 理论 已 经 相当 成 熟 ， 并 
且 已 经 成 为 求解 大 型 稀疏 线性 方程 组 最 受 欢迎 的 一 类 方法 . 

共 思 梯度 法 可 由 多 种 途径 引入 ， 这 里 我 们 将 采用 较为 直观 的 
最 优化 问题 来 引入 ， 为 此 ， 我 们 先 来 介绍 最 速 下 降 法 . 


85.1 最速 下 降 法 


考虑 线性 方程 组 
Arz=b (5.1.1) 
的 求解 问题 ， 其 中 4 是 给 定 的 n MAKETE, b 是 给 定 的 n 
维 向 量 ， z 是 待 求 的 n 维 向 量 .， 为 此 ， 我 们 定义 二 次 泛 函 
olz) = zT4z — 207z. (5.1.2) 
定理 5.1.1 设 4 对 称 正定 ， 求 方程 组 Ar = 的 解 ， 等 价 于 
求 二 次 泛 函 p(z) 的 极 小 点 . 
证 明 ”直接 计算 可 得 


Z = Aant ++ ainTn) -bi i=1,2,...,n. 


Drzi 


令 r=b-4z， 则 有 
grad y(x) = 2(4z — b) = 一 2r. 
E p(z) ERS z, 处 达到 极 小 ， 则 必 有 grad p(z,) = 0 ， 从 而 有 
Az. =b, B z. 是 方程 组 的 解 . 
反之 ， 若 =. 是 方程 组 的 解 ， 则 对 任 一 向 量 y 有 
oflzs +y) = (z, + I TA, +) — 2bT(z, +y) 
= Tl Ar, — 2bTz, + yT Ay = olz.) + yT Ay. 

当 4 正定 时 ， 有 YIT4y > 0 ， 因 此 e(z. +y) > yle), B z, 使 得 
p(z) 达到 极 小 . D 


这 样 , 求解 线性 方程 组 的 问题 就 转化 为 求 二 次 泛 函 2(z) 的 极 
小 点 的 问题 ， 求 二 次 函数 的 极 小 值 问题 ， 通 常 的 做 法 就 好 象 盲 人 
下 出 那样 ， 先 任意 给 定 一 个 初始 向 量 z。， 确 定 一 个 下 山 的 方向 
po ， 沿 着 经 过 点 zo 而 方向 为 po 的 直线 z = zo + apo 找 一 个 点 

Zi = Zo 十 Gopo, 

使 得 对 所 有 实数 a 有 

@(zo + aopo) S p(zo + apo). 
也 就 是 说 ， 在 这 条 直线 上 ， zi 使 w(z) 达到 极 小 . 然后 从 zi 出 
发 ， 再 确定 一 个 下 山 的 方向 p, WER 

T = Tı +apı 

再 足 出 一 步 , 即 找 一 个 a 使 得 p(z) 在 z> = zi +ap 达到 极 小 ， 

p(T1 +aıpı) S @(zi + apı), 
如 此 等 等 ， 于 是 得 到 一 串 

Qo, Q1, Q2,... 和 Po, Pi, p2,...， 

我 们 称 pk 为 搜索 方向 ， ak 为 步 长 .一 般 情 况 是 ， 先 在 zk 点 找 
下 山 方 向 px, 再 在 直线 z = zk + apk 上 确定 步 长 ak 使 

PTE 十 akPk) S p(Tk + opk), 
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最 后 求 出 tey = zk + arpe 对 不 同 的 确定 搜索 方向 和 步 长 的 方 
法 ， 就 给 出 各 种 不 同 的 算法 . 

我 们 先 考 虑 如 何 确定 步 长 ar RWA zx 出 发 ， 已 经 选 定 下 山 
方向 pk. 我 们 现在 的 任务 是 ， 在 直线 z = zk + apk 上 确定 ak 使 
得 plz) 在 zki+l = zk + arpi 达到 极 小 ， 为 此 ， 令 

f(a) = p(xx + ap) 
= (zk + apk)" A(£p + apk) — 2bT (£p + app) 
= o?pk Apr — 2ark pk + p(z), 
其 中 m =b- Ar: 由 初等 微分 学 的 理论 知 ， 由 方程 
f'(a) = 2apk Aps — 2r£ pk = 0 


|a | = LEPE. (5.1.3) 


步 长 确定 以 后 ， 即 可 算出 
| Zk+1 = Tk + Gkpk.- 
那么 pg(zk+1) 是 否 小 于 plr) 呢 ? 因为 
@(zk+i) — PLE) = @(zk + QRPE) — p(z) 
2 T T (rz ph) 
= AkPk Apk 一 2Gkrk pk = -pi Ap 

因此 ， 只 要 ripk #0, 就 有 p(zk+i) < @(zk). 

再 考虑 如 何 确定 下 出 方向 pe 我 们 知道 p(z) 增加 最 快 的 方 
向 是 梯度 方向 ,因此 ， 负 梯度 方向 应 该 是 p(z) 减 小 最 快 的 方向 ， 
于 是 最 简单 而 直观 的 做 法 是 选取 p, 为 负 梯 度 方向 ， 即 pk = re. 
这 样 便 得 到 了 如 下 的 算法 : 


算法 5.1.1 ( 解 对 称 正定 方程 组 ， 最速 下 降 法 ) 
zo = 初 值 
ro = b- ÁAzo; k = 0 
while r Z 0 
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k=k+1 
— +T T 
Gk-1 =Tk_1Tk-1/Tk14ÁTk-1 
Tk = Tk-1 + Gk-1Tk-1 
Tk = b — Ark 


end 

对 于 最 速 下 降 法 有 如 下 的 收敛 性 定理 . 

定理 5.1.2 设 4 的 特征 值 为 0< 和 < … < An ， 则 由 上 述 
算法 产生 的 序列 {z4} 满足 


入 一 AN 
Ialas[( " 


MAE) leo = zula, 
其 中 z, = Ab, |iz||a = VzI4z. 
为 了 给 出 这 一 定理 的 证 明 ， 我 们 先 证 一 个 引 理 . 


引 理 5.1.1 设 4 的 特征 值 为 0< 和 <…< MXM，P() 是 t 
的 一 个 实 系数 多 项 式 ， 则 


1P()zla < max PADI zl, ze n". 


证 明 设 yiye... yn 是 A 的 对 应 于 Àl, M2,... ,An 的 特征 
向 量 所 构成 的 R 的 一 组 标准 正 交 基 ， 则 对 应 任意 的 ze R" 有 
r= > Biyi, AWA 


zTP(A)AP(A)z = (Zari BPO; dm) a(È BPO) 


=1 i=l 


2 2( 2 
= 2 P?(A:) < max P CD Nb 


i=1 


于 是 


1P(4)zlla < max PO llla: 
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从 而 引 理 得 证 . | D 


定理 5.1.2 的 证 明 由 zk 满足 
@(zk) S PTE-1 十 ark-1)， ae R, 
并 注意 到 
olz) + zÍ Az, = (£ — £.) A(T — z,), (5.1.4) 
就 有 
(zk — 1+) A(zk — z,) 
S (zk-—i +ark-l — T4)” A(Tk-1 + ark-1 — T4) 
= (I oA)(k-i — z IA - &A)(2r-1 - zJ] (5.1) 
对 任意 的 a € REZ. 记 Palt) = 1 一 at ， 应 用 引 理 5.1.1 ， 从 
(5.1.5) 可 得 
zx — zslla < Pa(4)(zk-l — zx.)la 


< max |Pa(à;)| llzk-1 — zalla (5.1.6) 
对 一 切 ae 玉成 立 ， 再 利用 Chebyshev 多 项 式 的 性 质 ， 可 得 
n — Àn = ÀM 
min w |1— at| = IN (5.1.7) 
将 (5.1.7) 代入 (5.1.6) 即 得 
< An TM 
lize — zlla < 天 + lle 一 Ze||4， 
从 而 定理 得 证 . 口 


定理 5.1.2 表明 ， 从 任 一 初始 向 量 zo 出 发 ， 由 最 速 下 降 法 
产生 的 点 列 z, 总 是 收敛 到 方程 组 (5.1.1) 的 解 ， 其 收敛 的 快慢 由 
(An = Ai)/(An + A) 的 大 小 来 决定 . 

虽然 最 速 下 降 法 简单 易 用 ， 又 可 充分 利用 4 的 稀疏 性 , 但 由 
于 当 M < Mn 时 收敛 速度 变 得 非常 之 慢 ， 因 此 很 少 用 于 实际 计 
#. 然而 它 揭示 了 一 种 重要 的 思想 ， 开 辟 了 一 条 全 新 的 求解 线性 
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方程 组 的 途径 ， 例 如 把 上 述 方法 稍 加 改进 ， 就 可 得 到 著名 的 共 斩 
梯度 法 . 


85.2 ” 共 饭 梯度 法 及 其 基本 性 质 


5.2.1 3&S6SEBEEIE 


对 最 速 下 降 法 做 一 简单 的 分 析 ， 就 会 发 现 ， 负 梯度 方向 虽 从 
局 部 来 看 是 最 佳 的 下 山 方向 ， 但 从 整体 来 看 并 非 最 佳 . 这 就 促使 
人 们 去 寻求 更 好 的 下 出 方向 ， 当 然 ， 我 们 自然 希望 每 步 确定 新 的 
下 山 方向 所 付出 的 代价 不 要 太 大 .， 共 轿 梯 度 法 就 是 根据 这 一 思想 
设计 的 ， 其 具体 计算 过 程 如 下 . 
给 定 初始 向 量 zo ， 第 一 步 仍 选 负 梯 度 方向 为 下 山 方向 ， 即 
Po = ro ， 于 是 有 


Tı = Zo 十 aopo， rı =b — Azi. 
对 以 后 各 步 ， 例 如 , 第 上 +1 步 人 >1 ,下 山 方向 就 不 再 取 rk, 
而 是 在 过 点 zk 由 向 量 r, 和 pr- 所 张 成 的 二 维 平面 

T2 = {T = zk + Erk +npr-1 : S, n€ R) 
内 找 出 使 函数 o 下 降 最 快 的 方向 作为 新 的 下 出 方向 ps. 考虑 p 在 
72 上 的 限制 : 

PE, Nn) = e(zk + £rk + ripk-1) 
= (zk + Erk +Tpk—-1) A(zk + Erk + npk-1) 
— 2bT (zk + Erk +npr-1). 

直接 计算 可 得 
> = 2(€rÉ Ark + nri Apk—1 — rE rk), 
x- = 2(€rË Apr-ı + npE_1 Apr_1), 
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其 中 最 后 一 式 用 到 了 rip- = 0, 这 可 由 mk 的 定义 直接 验证 ， 令 
Wy _ow 


aE ên 
即 知 y 在 m 内 有 唯一 的 极 小 点 
Z = zk + éork + MoOPk-1, 
其 中 如 和 满足 
orf Ark + Tori Apk-1 = TI Tp, (5.2.1) 
forf Apk- + nopi, Apk_1 = 0. 
注意 ， 上 式 蕴含 着 rk Z 0 必 有 如 Z 0, 因此 我 们 可 取 


1 _ 
pk = —(Z — zk) = rk + Pe 


ĉo 
作为 新 的 下 山 方向 ， 显然， 这 是 在 平面 ra 内 可 得 到 的 最 佳 下 山 方 
向 . 令 be-i = a 则 由 (5.2.1) 的 第 二 个 方程 得 
ri Apk_1 

Br- = pl Apri ` 
注意 这 样 确定 的 ps 满足 pE Apri = 0, 即 所 谓 的 pk 与 ps_1 是 相 
EIEI. pk, pe_1 和 rx 的 几何 意义 如 图 5.1 所 示 . 


Tk 
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pk 确定 以 后 ， ak 的 确定 仍 用 前 面 的 公式 (5.1.3) ， 然 后 计算 
Tk+1 = Zk 十 Qkpk. 总 结 上 面 的 讨论 ， 可 得 如 下 的 计算 公式 : 


T 
Tk Pk 
Qk = Tk+1 = Zk + QkPk, 
pI Apr +1 P 
Tk+1 = b— ÅTk4+1, (5.2.2) 
. T 
ri. Apk 
Br = -2H , Dk+1 = Tk+1 + DkDk. 
Pk Apk . 


在 实际 计算 中 , 常 将 上 述 公 式 进一步 简化 , 从 而 得 到 一 个 形式 
上 更 为 简单 而 且 对 称 的 计算 公式 . 首先 来 简化 r 的 计算 公式 : 
Tk+1 =b— Azk+ií = b-— A(zk + okpk) 
= Tk — Qk Apk. (5.2.3) 
因为 Ap 在 计算 ax 时 已 经 求 出 ， 所 以 ， 计 算 rk+l 时 可 以 不 必 将 
zc+1 代入 方程 去 计算 ， 而 是 从 递 推 关 系 (5.2.3) 得 到 . 
再 来 简化 ae 和 px 的 计算 公式 . 我 们 需要 用 到 下 面 的 关系 式 
TTk+1 = TEPk_1 = ThiDk =0, k=1,2,.... (5.2.4) 
这 些 关系 式 的 证 明 包 含 在 定理 5.2.1 的 证 明 中 . 从 (5.2.4) 和 (5.2.3) 
导出 


T 1 + 1 + 

Tk+1 ÅPk = —Tk+i(rk — Tk+1) = ——Tk+1Tk+1 

k+1 AD ar k+l +1) ak k+1Tk+1; 
T Ap, = l T _i + 

Pk Apk = —Pk (rk 一 rk+i) = gP" 


l + l T 
= —ri (Tk + _ _ = —TL Tk. 
a k (rk + Bk_1Pk-1) att 


由 此 可 得 " 
Tk Tk TETk+l 
ak = ñ = L —. (5.2.5) 
t pl Apr rir 


综合 上 面 的 讨论 ， 可 得 下 面 的 算法 : 


算法 5.2.1 (REES ER. RE) 
To = 初 值 
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ro = b-— Ato; k = 0 
while r Z 0 
k=k+1 
ifk=1 
Po = To 
else 
Bi-2 = TEL_ITE-1I/rE_2rk -2 
Pk—1 = Tk-1 + PDk-2Dk—2 
end 
Qk-1 = r iTk-1/DI i Apk-1 
Tk = Tk-1 + Ok—1Dk—-1 
Tk = Tk-1 ~ Qk—1ÅPk-1 
end 


T= Tk 


注意 该 算法 每 迭代 一 次 仅 需 使 用 系数 矩阵 4 做 一 次 矩阵 - 向 
量 运算 . 

5.2.2 ”基本 性 质 

定理 5.2.1 由 共 罗 梯 度 法 得 到 的 向 量 组 {r:} 和 {p;} 具有 如 
下 性 质 : 

(1) fr i =0, 0<i<j <k; 

(3) p7 Ap; =0, i#j, 0<i,j< ki 

(4) spaníro,...,rk] = spanípo,...,pk) = K(A,ro,k + 1), 其 
中 

K(A,ro,k + 1) = span (ro, Aro,... , A*ro}, (5.2.6) 

通常 称 之 为 Krylov 子 空间 ， 
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证 明 用 归纳 法 . 当 上 = 1 时 ， 因 为 
Po=ro，7 三 ro 一 ao4po，Pp =7 + Popo, 
riro = rd (ro 一 QoAro) = = raro ~ Goro TAro = 0, 


rT Ar 
pT Apo = (ri — Boro)T Aro = rT Aro — “1 TAr TAro = 0, 


因此 定理 的 结论 成 立 . 现在 假设 定理 的 结论 对 k RX, RKE 
明 其 对 上 十 1 也 成 立 . 
(1) 利用 等 式 re = rk — akApk 及 归纳 法 假定 ， 有 ， 
PITk+t1 = pi rk — akpi Apk =0, 0O<i<k-1. 


又 由 于 
PrTk+1 = Pirk 一 Tin pl Apk = 0, 
故 定 理 的 结论 (1) X} k + 1 亦 成 立 . 
(2) 利用 归纳 法 假定 有 


span {70,...,7k} = span {po,..., Pk}, 
而 由 (1) 所 证 知 ，rk+l 与 上 述 子 空间 正 交 , 从 而 有 定理 的 结论 (2) 
XI k+ 1 也 成 立 . 
(3) 利用 等 式 

Dk+1 = Tkti+ Bepk 和 Tipi = Ti — QiAp:, 
并 利用 归纳 法 假定 和 (2) 所 证 之 结论 ， 就 有 

pl Apk+1 = Erat — ri+1) + Bep! Apk = 0 
对 i= 0,1,...,k 一 1 成立; 而 由 Bk 的 定义 得 

phriApk = (rk+1 + Papi)" An. 


Apk 
= ri Apk 一 pd pl Ap = 0. 


这 样 ， 定 理 的 结论 (3) Xf k + 1 也 成 立 ， 
(4) 由 归纳 法 假定 知 
Tk, pk € K(A,ro,k + 1) = span (ro, Aro,..., A*ro}, 
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于 是 


rk+1 = rk ~ ak Apr € K(A,ro,k + 2) = span {ro, Aro,..., A*+! 


ro), 
Dk+1 = Trk+1 + Bkpk € K(A,ro,k + 2) = span (ro, Aro,..., A*t!iro}. 
再 注意 到 (2) 和 (3) 所 证 的 结论 表明 , HEH ro., re 和 pos., 
p 都 是 线性 无 关 的 ， 因 此 定理 的 结论 (4) 对 上 + 1 同样 成 立 . 
由 归纳 法 原理 知 定理 得 证 . 口 
定理 5.2.1 表明 , 向 量 组 ro,.…. ,rk 和 po,... pa 分 别 是 Krylov 
子 空间 K(A,ro,k + 1) ËJ E3F38413t3906 E 223EF. 由 此 可 知 ， 共 轿 梯 
度 法 最 多 ” 步 便 可 得 到 方程 组 的 解 c. Ae, MELKI, 
梯度 法 是 直接 法 . 
定理 5.2.2 ”用 共 罗 梯 度 法 计算 得 到 的 近似 解 zk 满足 
@(zk) = min{ p(x) : z € zo + K(A,ro,k)) (5.2.7) 
或 
zx 一 za = miní||z -zolla : z € zo +K(A,ro,k)), (5.2.8) 
其 中 |lzlla = VzT Az, z, 是 方程 组 Az = b 的 解 ，K(A,ro,k) 是 由 
(5.2.6) 所 定义 的 Krylov 子 空间 . 
证 明 利用 (5.1.4) 立即 知道 (5.2.7) 和 (5.2.8) 是 等 价 的 ， 因 
此 我 们 下 面 只 证 明 (5.2.8) 成 立 . 
假设 共 轿 梯度 法 计算 到 i 步 出 现 7r = 0， 那 么 有 
Z, = Zt = Ti-1 + QD-1 
= ZI—2 + @-2P1-2 + Gi- IDI—1 
= To + Qopo + arpi + : ` ` + Gr—1DI-1: 
此 外 ， 对 计算 过 程 中 的 任 一 步 k <1， 有 
Zk = Zo + aopo + alpl +-+- + ak-1Pk-1 E To + K(A,ro, k). 
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设 z 是 属于 zo + K(A,ro,k) 的 任 一 向 量 ， 则 由 定理 5.2.1 的 (4) 
知 ，z 可 以 表示 为 
z = To + yopo + VıPı +... + Yk—1Dk—15 
于 是 
z, — z =(ao — Yo)Po +... + (Gk—1i — Yk—-1))Dk—1 

+okpk +t + aP- 
而 z, — zk = akpk +--+ ipi- 再 利用 定理 5.2.1 的 (3) 就 可 
以 推出 

ijz. — zl = (ao 一 7o)po 十 .十 (ok-l — Yk—1))pk— ll 
十 jakps +: + ampli 
> llapi + + ampli = |z, ~ srli 


于 是 定理 得 证 . D 


853 ”实用 共 轿 梯度 法 及 其 收敛 性 


5.3.1 c 1385618 82 


上 一 节 导 出 的 共 轰 梯度 法 ， 虽 说 在 理论 上 已 经 证 明了 至 多 n 
步 就 能 得 到 方程 组 (5.1.1) 的 精确 解 ， 然 而 实际 使 用 时 ， 由 于 误差 
的 出 现 ， 使 得 r. 之 间 的 正 交 性 很 快 损失 ， 以 致 于 其 有 限 步 终 止 
性 已 不 再 成 立 ， 此 外 ， 在 实际 应 用 共 轿 梯度 法 时 ， 由 于 一 般 n fB 
大 ， 以 至 于 选 代 Oln) 次 所 耗费 的 计算 时 间 就 已 经 使 用 户 无 法 接 
ZT. 因此， 实际 上 我 们 是 将 共 思 梯度 法 作为 一 种 迭代 法 使 用 ， 
而 且 通常 是 用 n| 是 否 已 经 很 小 以 及 迭代 次 数 是 否 已 经 达到 最 
大 容许 的 迭代 次 数 kmar 来 终止 迭代 的 . A, 就 得 到 如 下 流行 的 
HAREE. 


算法 5.3.1 ( 解 对 称 正定 方程 组 ， 实 用 共 轿 梯度 法 ) 
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z = HË 
k=0; r =b- Az; p= rTr 
while (Vp > e|lb||s) and (k < kmax) 
k=k+1 
ifk=1 
p=r 
else 
B= p/p; p=r+Bp 
end 
w = Ap; a = p/pTu; z = z+ ap 
r=r-oeu; 方 = p; p= rTr 


end 


HARRERAREN, CERA FIS: 

(1) AAF, RRE 4 的 作用 仅仅 是 用 来 由 已 知 向 量 p p= 
生 向 量 w= Ap, 这 不 仅 可 充分 利用 4 的 稀 玖 性 ,而 且 对 某 些 提供 
和 矩阵 4 较为 困难 而 由 已 知 向 量 p 产生 向 量 w = Ap 又 十 分 方便 的 
应 用 问题 是 很 有 益 的 ; 

(2) 不 需要 预先 估计 任何 参数 就 可 以 计算 ， 这 一 点 不 像 SOR 
等 ; 

(3) 每 次 迭代 所 需 的 计算 ， 主 要 是 向 量 之 间 的 运算 ， 便 于 并 行 
化 . 


5.3.2 ”收敛 性 分 析 


将 共 斩 梯 度 法 作为 一 种 迭代 法 ， ERRETEN? 这 是 本 
节 下 面 主要 讨论 的 问题 . 


定理 5.3.1 WME A= I+ B 而 且 rank(B) = r, Wy E 
法 至 多 迭代 r + 1 步 即 可 得 到 方程 组 的 精确 解 . 
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证 明 注意 到 rank (B) = > 8 34-T-2E [BJ 
span {ro, 4ro,...,4kro} = span {ro, Bro,..., B*ro} 
的 维 数 不 会 超过 > + 1, 由 定理 5.2.1 即 知 定理 的 结论 成 立 。 口 
定理 5.3.1 表明 ， 若 线性 方程 组 (5.1.1) 的 系数 矩阵 与 单位 矩 


阵 相 差 一 个 秩 为 r 的 矩阵 ， 而 且 又 很 小 的 话 ， 则 共 撤 梯度 法 将 
会 收敛 的 很 快 . 


定理 5.3.2 用 共 辑 梯度 法 求 得 的 zk 有 如 下 的 误差 估计 
ilz — z. |a < 2 (= i] Jlzo — zalla, (5.3.1) 


V + 
其 中 <> = xa (A) = |All Al. 
证 明 ”由 定理 5.2.1 可 知 ， 对 任意 的 z € zo + K(A,ro, k), 有 
z, —z = z, — zo + akiro 十 ak24ro +... + ak k AF !ro 
= A`! (ro + akı Aro + ak2 A2ro +...+ apk AËFro) 
= A"! P, (A)ro, 
其 中 RO) = Dayi, TH PO = 1. 令 P, 为 所 有 满足 
P, (0) = 1 且 次 数 不 超 过 上 的 实 系数 多 项 式 的 全 体 , 则 由 定理 5.2.2 
和 引 理 5.1.1 得 
lz. -zkll4a = min(||z ~ zella : z € zo + K(A,ro,k)) 
= in |47} Pk (A)rolla = min (P(A)A- rolla 
S RB RE PODA rolla 


< max |Pk(A)| |z. — zolla, 


A a<À)<b 
其 中 0<a= À < … < Àn = 是 4 的 特征 值 . 由 著名 的 
Chebyshev 多 项 式 通 近 定 理 知 ， 最 优化 问题 


in max |P,(À 
pin max | k (A)| 
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有 唯一 的 解 


_ THEA) 
Pk. (À) 一 Ty(bze) 5 

其 中 T, (z) 是 大 次 Chebyshev ZMA. 由 Chebyshev 多 项 式 的 性 
质 知 


k 
zy EO- FE S2 [7 7i) ， 
于 是 ， 我 们 有 
le ml < 2 (SE) liz, -al 
因此 ， 定 理 得 证 0 


虽然 定理 5.3.2 所 给 出 的 估计 是 十 分 粗粮 的 , 而 且 实 际 计 算 时 
其 收敛 速度 往往 要 比 这 个 估计 快 的 多 ， 但 是 它 却 揭示 了 共 轮 梯度 
法 的 一 个 重要 的 性 质 ， 只 要 线性 方程 组 (5.1.1) 的 系数 矩阵 是 十 分 
良 态 的 (BI <> = 1), 则 共 轿 梯度 法 就 会 收敛 的 很 快 . 


85.4 ” 预 优 共 思 梯 度 法 


上 节 已 经 证 明 ， 当 线性 方程 组 (5.1.1) 的 系数 矩阵 仅 有 少数 几 

个 互 不 相同 的 特征 值 或 者 非常 良 态 时 ， 共 轿 梯 度 法 就 会 收敛 的 非 

常 之 快 . 这 就 促使 我 们 在 应 用 共 轿 梯度 法 时 , 首先 应 设法 将 (5.1.1) 

转化 为 一 个 系数 矩阵 仅 有 少数 几 个 互 不 相同 的 特征 值 或 者 非常 良 

态 的 等 价 方程 组 ， 然 后 再 应 用 共 酌 梯度 法 于 转化 后 的 方程 组 ， 预 

优 共 轿 梯 度 法 正 是 基于 这 一 基本 思想 而 产生 的 ， 它 是 先 将 (5.1.1) 
转化 为 

A =b, (5.4.1) 

tp A = CAC, F = Or, b = C-t, 这 里 要 求 C 是 对 称 正定 

的 , 我 们 的 目的 是 通过 C 的 选择 , 使 4 具有 我 们 所 希望 的 良好 性 


153 


质 ， 然 后 应 用 算法 5.2.1 于 (5.41), 可 得 


Qk = =L", Zk+1 = Zk + QkPk, 


Tk+1 = Tk — Qk Apk, 
Er Dk+1 = Tk+1 + BeDk, 


其 中 zo FFA E BJ IIB, Fo = b-— Azo, Po = fo. 


(5.4.2) 


按照 上 述 公式 直接 和 欠 代 ， 需 要 事先 计算 4 = CAC 和 
b= C-!b, 而 且 还 需 将 迭代 得 到 的 近似 解 z, 通过 变换 zk = C-1S, 
变 成 方程 组 (5.1.1) 的 近似 解 ， 实际 上 这 些 都 是 不 必要 的 ， 令 


Te = Ctr, Fe =CO7'rk, Pk = Opk, 


并 记 M = C2, 代入 (5.4.2) 的 各 式 ， 整 理 后 即 得 


_ T 

wk = Apk - Qk = pk /Pk Wk, 

Tk+1 = Tk + GkDk, Tk+1 = Tk — GktUk, 
— M`? — aT 

Zk+1 = Tk+1; Pk+1 三 7 十 12K 十 1， 

Bk = pk+1I/pk， Dk+1 = Zk+1 + BkPk, 


其 中 zo 是 任意 给 定 的 初始 向 量 ， ro = b- Azro, z = Mro, 


po = rd zo, Po = zo. 
这 样 ， 就 得 到 了 如 下 算法 . 
算法 5.4.1 ( 解 对 称 正 定 方程 组 : 预 优 共 思 梯 度 法 ) 
z = 初 值 
k=0; r =b-—- Ar 
while (Vrir > ellblla) and (k < kmax) 
求解 Mz =r 得 z 
k=k+1 
ifk=1 
p= z 
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else 
B= p/P; p= z + pp 
end 
w = Ap; a = p/p'u; z = z + op 
r=r-—ou; P= p; p= rTz 


end 


š—WikhEBLtatilarik, UTREE, 
简称 PCG 法 ， 其 中 的 矩阵 M PEDIRA 

利用 共 辆 梯度 法 的 性 质 容易 导出 预 优 共 印 梯度 法 具有 如 下 性 
质 : 

(1) 残 向 量 rh 是 相互 M- 正 交 的 ， 即 7M-1r = 0, 1 六 

(2) 方向 向 量 p, 是 相互 A 3808, BD pT Api = 0, i Z j: 

(3) 近似 解 向 量 z, RE 

k 
len zella <2 (SEH) eo zla; 

其 中 == XX An 和 Xi 分 别 是 M-14 的 最 大 和 最 小 特征 值 

巴 优 共 堪 梯度 法 成 功 与 否 ， 关 键 在 于 预 优 乱 阵 M ETH 
合适 ， 一 个 好 的 预 优 矩 阵 自然 应 该 具有 如 下 的 特征 : 

(1) M 是 对 称 正定 的 ， 

(2) M EEH: 

(3) M-14 仅 有 少数 几 个 互 不 相同 特征 值 或 者 其 特征 值 集中 
在 某 点 附近 ; 

(4) 形 如 Mz = r 的 方程 组 易于 求解 . 

当然 ， 对 于 一 般 的 线性 方程 组 要 选择 一 个 同时 满足 上 述 四 个 
条 件 的 预 优 矩 阵 M 往往 是 十 分 困难 的 ， 然 而 对 于 具体 的 实际 应 
用 问题 经 常 可 以 获得 巨大 的 成 功 ， 下 面 我 们 简要 地 介绍 几 种 常用 
的 预 优 矩 阵 的 选取 技巧 

(1) 对 角 预 优 答 阵 ， 如 果 线性 方程 组 的 系数 矩阵 À 的 对 角 元 
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KZK, MA 
M = diag (a11,...,ann) 

作为 预 优 矩阵 ， 常 常会 使 收敛 速度 大 大 提高 . 推 而 广 之 ， 若 
Anun - Ak 

A=] : : 

Ak > Akk 

其 中 hi; 是 易于 求 逆 的 方 阵 ， 则 可 取 

M = diag(Anui,..., Akk). 

(2) 不 完全 Cholesky 因子 预 优 和 矩阵 . 这 是 一 种 非常 重要 的 预 

优 技巧 ， 它 是 先 求 系数 矩阵 4 的 不 完全 Cholesky 分 解 : 

A= LLT +R, 

其 中 工 是 单位 下 三 角 和 矩阵 ， 然 后 用 M = LLT HAMRE. h 
于 分 解 中 有 一 个 剩余 矩阵 R 可 供 选 择 ,， 所 以 我 们 就 可 要 求 上 具有 
某 种 需要 的 稀疏 性 ， 例 如 ， 工 与 4 具有 相同 的 稀 朴 性 . 当然 ， 要 
使 得 到 的 预 优 矩 阵 有 效 ， 还 需 使 LLT 尽 可 能 地 接近 A. 这 样 得 到 
的 预 优 矩阵 的 缺点 是 ， 在 求解 Mz = r 时 需要 解 两 个 三 角形 方程 
组 ， 不 利于 并 行 化 ( 因 解 三 角形 方程 组 的 并 行 效率 是 很 低 的 ). 

(3) 多 项 式 预 优 矩 阵 ， 由 于 预 优 矩 阵 M 实质 上 是 系数 矩阵 4 
的 某 种 近似 ， 因 此 我 们 可 将 方程 组 Mz = r 的 解 z 看 作 是 Az = r 
的 近似 . K Az = r 近似 解 的 一 种 最 自然 的 方法 就 是 利用 上 一 章 
所 介绍 的 古典 迭代 法 ; 

Mizk+i=Niz +r, 20=0， (5.4.3) 
其 中 假定 4 = M, - N: 是 4 一 种 较 好 的 分 裂 . 记 G = M'N, 
那么 我 们 就 可 取 
z=ze =(I+G+--..+ G°-1)Mr1r 
作为 其 近似 解 ， 从 而 就 可 取 
M-1=(I+G+:…+ Gr 1)MT! 
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作为 预 优 和 矩阵 .因为 它 是 矩阵 G 的 多 项 式 ， 因 此 称 之 为 多 项 式 预 
RERE. 实际 计算 时 ， 并 不 需要 将 M 真 的 计算 出 来 ， 只 需 由 迁 代 
格式 (5.4.3) 产生 z = z, 即 可 . 因此 ， 这 一 方法 特别 有 利于 并 行 
化 . 


85.5 Krylov 子 空间 法 


这 一 节 ， 我 们 简要 地 介绍 一 下 如 何 利用 共 轿 梯度 法 的 基本 思 
想 去 求解 一 般 的 线性 方程 组 
Ar = b, (5.5.1) 
这 里 仅 假定 4 e R"*" 是 非 奇异 的 ， 由 于 篇 幅 所 限 ， 我 们 仅 介绍 
其 基本 思想 ， 详 情 细节 读者 可 参阅 有 关 的 文献 . 


5.51 ”正则 化 方法 


类 位 于 利用 平方 根 法 求解 最 小 二 乘 问题 ， 我 们 可 以 应 用 共 恩 

梯度 法 于 对 称 正定 方程 组 
ATA= Alb 

来 求解 方程 组 (5.5.1). 当然 要 想 加 速 收敛 ， 还 需 与 预 优 化 技术 结 
合 使 用 才 行 . 虽然 这 一 方法 简单 易 行 ， 而 且 对 于 一 些 没 有 什么 特 
殊 结 构 的 线性 方程 组 来 说 常常 是 有 效 的 ， 然 而 当 4 病态 时 其 收敛 
速度 变 得 非常 之 馏 ， 这 是 因为 此 时 的 正则 化 方程 组 通常 是 十 分 病 
态 的 (A kz(474) = r(A)? 会 很 大 ). 


5.5.2 残 量 极 小 化 方法 


为 了 避免 正则 化 方法 的 缺点 ， 近 年 来 人 们 一 直 致 力 于 寻找 其 
收敛 速度 依赖 于 4 的 条 件数 而 不 是 其 平方 的 有 效 方 法 ， 并 得 到 了 
不 少 各 具 干 秋 的 方法 ， 粗略 地 讲 ， 这 些 方法 大 致 可 分 为 两 类 : R 
量 极 小 化 方法 和 残 量 正 交 化 方法 . 
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大 家 已 经 知道 ， 用 共 斩 梯 度 法 求解 对 称 正 定 线性 方程 组 的 第 

k 次 迭代 实质 上 是 求 zk € zo + K(A,ro, k) 使 得 
@(zk) = min{fp(z) : z € zo + K(A,ro,k)). (5.5.2) 
当 4 3F3E228R1E E SE EFRET, y 就 不 一 定 有 极 小 值 , MARAE 
梯度 法 来 求解 一 般 的 线性 方程 组 是 行 不 通 的 , 然而 这 种 思想 却 是 可 
以 推广 到 一 般 情形 的 . 残 量 极 小 化 方法 就 是 求 zk € zo +K(A, ro, k) 
使 得 
llb — 4zkja = miní]|lb ~ Az||> : z € zo + K(A,ro, k)}. 

采用 不 同 的 方法 来 求解 这 一 优化 问题 , 就 会 得 到 求解 方程 组 (5.5.1) 
的 各 种 不 同 的 方法 ， 其 中 有 代表 性 的 方法 主要 有 两 种 ， 一 种 是 用 
于 求解 对 称 不 定 线性 方程 组 的 极 小 残 量 法 ， 即 所 谓 的 MINRES 方 
法 ， 详 见 [14]; 另 一 种 是 求解 非 对 称 线性 方程 组 的 广义 极 小 残 量 
法 ， 即 所 谓 的 GMRES 方法 ， 详 见 [16]. 


5.5.3 ” 残 量 正 交 化 方法 


' 容易 证 明 , 当 4 对 称 正 定时 ， (5.5.2) 成 立 的 充分 与 必要 条 件 
是 
rk 二 (一 4zk) L K(A,ro, k). 
残 量 正 交 化 方法 就 是 从 这 一 条 件 出 发 来 构造 求解 方程 组 (5.5.1) 的 
迭代 方法 的 ， 这 方面 较为 典型 的 方法 有 用 于 求解 对 称 不 定 线性 
方程 组 的 SYMMLQ 方法 ( 详 见 [14]) 和 用 于 求解 非 对 称 线性 方程 
组 的 Arnoldi 方法 ( 详 见 [16]). 


习 a 


1. 证 明 等 式 (5.1.4). 
2. 设 z, 是 由 最 速 下 降 法 产生 的 . 证 明 : 


(z) < @ - =) (zk), 
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其 中 <,(A) = ||Allə|| A 1||,. 

3. 试 证 明 当 最 速 下 降 法 在 有 限 步 求 得 极 小 值 时 ， 最 后 一 步 迭 
代 的 下 降 方 向 必 是 4 的 一 个 特征 向 量 . 

4. 证 明 线 性 方程 组 (5.2.1) 的 解 存在 唯一 . 

5. 设 Ac R” 是 对 称 正定 的 ，pi,.…. ,pr € R" 是 互相 共 亏 
正 交 的 ， 即 pTAp; = 0,iZ j. 证 明 p... pe 是 线性 无 关 的 . 

6. 设 4 为 对 称 正定 和 矩阵， 从 方程 组 的 近似 解 yo = zk 出 发 ， 
依次 求 y; 使 得 

p(yi) = min p(yi-1 + tei), 


HE e En 阶 单位 矩阵 的 第 i 列 ，i = 1,2,...,n, 然后 令 zk+l = 
Yn 验证 这 样 得 到 的 迭代 算法 就 是 G-S 迭代 法 . 

7. 设 4 是 一 个 只 有 上 个 互 不 相同 的 特征 值 的 ” x n 实 对 称 
矩阵， 是 任 一 n 维 实 向 量 . 证 明 : 子 空间 

span {7, Ar,... , A”!r} 

的 维 数 至 多 是 . 

8. 试 证 ， 如果 系数 矩阵 4 至 多 有 ! 个 互 不 相同 的 特征 值 ， 则 
共 酌 梯度 法 至 多 ! 步 就 可 得 到 方程 组 Ar = b 的 精确 解 . 

9. 证 明 用 共 轿 梯度 法 求 得 的 z, 有 如 下 的 误差 估计 

k 
lz - zul < 2V7 ( E ) leo- zl, 

其 中 ka = r(A) = |All] All. 

10. iZ z 和 rk E H PE 3tte pe ER. 证 明 : 2# r, Z O, 
则 必 有 zre > 0. 

11. 设 A e R" 是 对 称 正定 的 ，+ 是 R" 的 一 个 大 维 子 空 
Bj. 证 明 x, EX 满足 

lze — A™ blla = min lz — A blla 

的 充分 与 必要 条 件 是 7 =b- Ar 垂直 于 子 空间 X, 其 中 be R" 


是 任意 给 定 的 . 
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12. 写 出 用 共 罗 梯 度 法 求解 正则 化 方程 组 ATAz = ATb 的 详 
细 算 法 ， 要 求 算法 中 不 要 出 现 计算 ATA 情形 , 这 里 4 e R"*" 是 
非 奇异 的 . 


上 机 习题 


1. 考虑 如 下 的 Dirichlet 问题 
-Au +u= f, 0<r,vy < 1, 


ulr = @, 


其 中 工 为 正方 形 区 域 的 边界 .类 似 于 模型 问题 ， 我 们 得 到 差分 方 
程 


h2 1 h2 
(1+ 4 uu 一 gO 十 Uii, j Tuij;+1 + Ui,j-1) = gr 
ij=1,2,...,n - 1, 
Uio = Pio Uin = Pin i =0,1,2,... ,n 
Uoj = Po Un, j 三 mn j =0,1,2,...,n 


按照 “自然 顺序 排列 ”， 得 到 系数 矩阵 为 


S B 
BS B 
A= B S 
-o ‘B 
B S 


其 中 B= 一 41, 了 为 n 一 1 REMER, S' 是 对 角 元 均 为 1+h2/4， 
次 对 角 元 均 为 -1/4 的 n--1 阶 对 称 三 对 角 和 矩阵 ， 对 f = sin(zy) ， 
p= 二 2 十 她，n = 20， 用 共 罗 e 梯 度 法 求解 差分 方程 的 解 ， 要 求 有 
4 位 有 效 数 字 . 

思考 题 ， 若 用 超 松 驰 方法 求解 ， 最 佳 松 驰 因 子 是 多 少 ? 比较 
超 松 驰 方法 和 共 轿 梯度 法 的 优 劣 . 
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第 六 章 ” 非 对 称 特征 值 问题 的 计算 方法 


这 一 童 我们 来 介绍 矩阵 特征 值 和 特征 向 量 的 计算 方法 .大 家 
知道 ， 求 一 个 矩阵 的 特征 值 的 问题 实质 上 是 求 一 个 多 项 式 的 根 的 
问题 , 而 数学 上 已 经 证 明 : 5 阶 以 上 的 多 项 式 的 根 一 般 不 能 用 有 限 
次 运算 求 得 . 因此 , 矩阵 特征 值 的 计算 方法 本 质 上 都 是 迭代 的 . H 
前 ， 已 有 不 少 非常 成 熟 的 数值 方法 用 于 计算 矩阵 的 全 部 或 部 分 特 
征 值 和 特征 向 量 ， 而 全 面 系统 地 介绍 所 有 这 些 重 要 的 数值 方法 ， 
会 远 远 超出 我 们 这 门 课 的 范围 ， 因 而 这 里 我 们 仅 介 绍 几 类 最 常用 
的 基本 方法 . 


86.1 ”基本 概念 与 性 质 


为 了 推导 和 分 析 算 法 方便 起 见 ， 我 们 先 简要 地 介绍 一 些 与 所 
阵 特 征 值 和 特征 向 量 有 关 的 基本 概念 和 重要 结果 ， 作 为 对 初等 线 
性 代数 有 关内 容 的 复习 和 补充 . 由 于 本 书 篇 幅 所 限 , 本 节 下 面 所 给 
出 的 所 有 定理 均 不 作证 明 ， 有 兴趣 的 读者 可 参阅 有 关 的 参考 书 . 

设 4e C"*" . 大 家 知道 ， 一 个 复数 和 称 作 是 4 的 一 个 特征 
值 是 指 存在 非 零 向 量 z e C" 使 得 Az = Az; r 称 作 是 4 之 属于 入 
的 一 个 特征 向 量 . 由 此 可 知 ， 入 是 4 的 一 个 特征 值 的 充分 必要 条 
件 是 det(AT - A) = 0. 因而 称 多 项 式 

p4(A) = det(XT — A) 

为 4 的 特征 多 项 式 . 由 行列 式 的 性 质 易 知 p (X) 是 一 个 首 项 为 和 " 
的 次 多 项 式 ,因而 由 代数 基本 定理 知 pa(A) 有 n 个 根 , 即 4 有 
n 个 特征 值 . 记 4 的 特征 值 的 全 体 为 和 (4), 通常 称 之 为 4 的 谱 集 . 
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现 假定 p4(A) 有 如 下 的 分 解 
pA(À) = (À — A1 )™ (入 一 X2) 2 (A— Mp)™?, 
HP ni tnt tnp =n, XË 2 À;, š Z j, WER ni 为 入 的 代数 
重 数 (简称 重 数 ); 而 称 数 
m; = n — rank (A;I 一 4) 
为 Xi 的 几何 重 数 . 易 知 ，mi < ni, i = 1,... ,p. 如 果 m = 1, WEE 
Xi 是 4 的 一 个 单 特征 值 ; 否则 ， 称 Xi 是 4 的 一 个 重 特 征 值 . 对 
于 一 个 特征 值 入, 如 果 mw = mi, 则 称 其 是 4 的 一 个 半 单 特征 值 . 
显然 ， 单 特征 值 必 是 半 单 特征 值 . 如果 4 的 所 有 特征 值 都 是 半 单 
的 ， 则 称 4 是 非 亏 损 的 . 容易 证 明 ，4 是 非 亏损 的 充分 必要 条 件 
E AA n 个 线性 无 关 的 特征 向 量 ( 即 4 是 可 对 角 化 和 矩阵 ). 
É A, Be CM". 若 存 在 非 奇异 阵 X e C"”" 使 得 
B= XAX-!, 
则 称 4 与 B 是 相似 的 ， 而 上 述 变换 称 作 是 相似 变换 . 若 4 与 B 
相似 ， 则 4 和 B 有 相同 的 特征 值 ， 而 且 z E 4 的 一 个 特征 向 量 
的 充分 必要 条 件 是 y = Xz 是 互 的 一 个 特征 向 量 . 这 样 ， 如 果 我 
们 能 够 找到 一 个 适当 的 变换 矩阵 X, 使 B 的 特征 值 和 特征 向 量 易 
于 求 得 ， 则 我 们 就 可 立即 得 到 4 的 特征 值 和 相应 的 特征 向 量 . 很 
多 计算 矩阵 特征 值 和 特征 向 量 的 方法 正 是 基于 这 一 基本 思想 而 得 
到 的 .从 理论 上 来 讲 ， 利 用 相似 变换 可 以 将 一 个 矩阵 约 化 成 的 最 
简单 形式 是 Jordan 标准 型 ， 即 有 


定理 6.1.1 (Jordan 分 解 定理 ) 设 A4AeC"**"* 有 r 个 互 不 相 
同 的 特征 值 AÁ... , 和;, 其 重 数 分 别 为 nli), ,n( 和 +), 则 必 存 在 
一 个 非 奇异 矩阵 P e C" 使 得 

J(à1) 


P-4P = J(à2) | | 
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其 中 
J(X) = diag (J (A)... Jei (AJ) e CODO), 1gign, 


J; (A) = ü e Cu), 1JL ki, 
1 
Ài 
ni (Ai) 十 十 Pi(Ai) = n(A), lgigr; 
并 且 除 了 J;( 和 i) 的 排列 次 序 可 以 改变 外 ， J 是 唯一 确定 的 . 


上 述 定理 中 的 矩阵 J 称 作 4 的 Jordan 标准 型 , 其 中 每 个 子 
矩阵 J;( 和 i) 称 作 Jordan 块 . 
如 果 限 定 变 换 矩 阵 为 酉 矩阵， 则 有 如 下 著名 的 Schur 分 解 定 
理 . 
定理 6.1.2 (Schur 分 解 定 理 ) 设 À € Cn", 则 存在 西 矩 阵 
Te Cnxn 使 得 
U* AU =T, 
其 中 工 是 上 三 角 和 矩阵 ， 而 且 适 当选 取 U, 可 使 T 的 对 角 元 素 按 任 
意 指 定 的 顺序 排列 ， 
这 一 定理 无 论 在 理论 上 还 是 在 实际 应 用 上 都 是 非常 重要 的 ， 
著名 的 QR 方法 就 是 基于 这 一 定理 而 设计 的 . 
下 述 定理 对 于 估计 某 些 特征 值 的 界限 是 十 分 方便 而 有 用 的 . 
定理 6.1.3 (Gerschgorin MHE) i A= [aj] € C"*", 
令 
GA) = 人 sc :aas 下 i=in 
js 
则 有 
XA) c G(A)UG,;(A)uU ...u G, (A). 
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从 数值 计算 的 角度 来 看 ， 首 先 应 弄 清 的 问题 是 要 计算 的 特征 
值 和 特征 向 量 是 否 是 病态 的 ,也 就 是 说 矩阵 的 元 素 有 微小 的 变化 ， 
是 否 会 引起 所 关心 的 特征 值 和 特征 向 量 的 巨大 变化 ， 对 于 一 般 方 
阵 来 说 ， 这 一 问题 是 非常 复杂 的 ， 限 于 篇 幅 ， 这 里 我 们 只 介绍 一 
个 简单 而 又 非常 重要 的 结果 . 

假定 入 是 4 的 一 个 单 特 征 值 ，z 是 属于 它 的 单位 特征 向 量 
( BH Az = àz H |lzjl2 = 1). $ U = [z, U] € C" EEEE 
(U*U = 了), 即 V 的 列 向 量 构 成 C" 的 一 组 标准 正 交 基 ， 则 有 
À z*AU, 

A; 
其 中 A, = UJ AU, Ë n — 1 阶 方 阵 ， 由 入 是 4 BJ 8 364F08 E 
定 ， 知 


U*AU = | 


= 入 一 
ô = | u| > 0. 


于 是 我 们 可 定义 
Et = UA — A) U3. 

此 外 ， 由 于 det(MT - AT) = det(A — A) = 0, 故 必 存 在 非 零 向 量 
y EC" 使 yT4 = MT. 通常 称 y 为 4 之 属于 入 的 左 特征 向 量 . 和 
是 单 特 征 值 的 条 件 蕴含 着 yTz Z 0. 故 可 选取 y 使 yrz = 1. 若 给 
矩阵 4 以 微小 的 扰动 使 其 变 为 4, i e = ||4 - All, 则 存在 4 的 
一 个 特征 值 X 和 对 应 的 特征 向 量 ,使 得 

Ñ -A| < llyllz€ + O(€°), I - zl < I£+llze€ + O(e°). 
这 一 结果 的 证 明 参 见 [10, 第 151 页 ]. 这 表明 入 和 z 的 敏感 性 分 别 
与 |lylls A E+ 的 大 小 有 关 . 因此 ， 我 们 分 别称 Iyl 和 E+ 
为 特征 值 和 特征 向 量 z 的 条 件数 , 记 作 

-cond (À) = lll 和 cond (z) = |El. 

有 关 特 征 值 和 特征 向 量 的 敏感 性 问题 的 较 详细 讨论 参见 [18]. 
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86.2 Æ 法 


等 法 是 计算 一 个 矩阵 的 模 最 大 特征 值 和 对 应 的 特征 向 量 的 一 
种 迭代 方法 . 为 了 说 明确 法 的 基本 思想 ， 我 们 先 假定 4 < C™*" 
是 可 对 角 化 的 ， 即 4 有 如 下 分 解 


A= XAX-!, (6.2.1) 

其 中 A = diag (和 1,. = [z1,... ,zn] € C™" 非 奇异 ， 再 
假定 

li| > Jal > -… > Anl: (6.2.2) 


现任 取 一 向 量 uo € C". 由 于 XX 的 列 向 量 构 成 C" 的 一 组 基 ， 故 
uo 可 表示 为 
uo = QT1 十 ao2Z2 + + antn, (6.2.3) 


这 里 o, € C. 这 样 ， 我 们 有 
AFuo = Los z; = Ds 


j=2 
由 此 即 知 ， " 
im Ak m 
这 表明 ， 当 aa Z 0 WU B. k 充分 大 时 ， 向 量 
uk = 人 (6.2.5) 


就 是 4 的 一 个 很 好 的 近似 特征 向 量 . 
这 样 ， 我 们 自然 想到 用 (6.2.5) 来 求 4 的 近似 特征 向 量 ， 然 
而 ,实际 计算 时 , 这 是 行 不 通 的 . 其 原因 有 二 : 一 是 我 们 事先 并 不 
知道 4 的 特征 值 和 1; 二 是 对 充分 大 的 大 计算 A 的 工作 量 太 大 . 
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仔细 观察 (6.2.5), 不 难 发 现 (6.2.5) 中 的 Af 仅 改变 向 量 A*uo 

的 长 度 ， 并 不 影响 它 的 方向 ， 而 我 们 所 感 兴趣 的 只 是 Atuo 的 方 
向 ， 并 非 它 的 长 度 ， 因 此 我 们 不 必 非 用 A: 来 约 化 Atu 的 长 度 ， 
而 可 用 其 他 方便 的 常数 来 进行 约 化 (为 了 防止 溢出 ， 约 化 是 必要 
的 ); 其 次 计算 Atuo, 也 并 不 需 事先 将 4* 算 好 之 后 再 来 计算 ， 只 
需 达 代 地 进行 即 可 .基于 这 样 的 考虑 ， 我 们 可 设计 如 下 的 迭代 格 
Å: 

Yk = Auk-1, 

m=, P Èu 的 模 最 大 分 量 ， (6.2.6) 

Uk = Yk | Hk, 


其 中 u € C" 是 任意 给 定 的 初始 向 量 ， 通 常 要求 |iuo| = 1. 
这 一 迭代 方法 称 作 村 法 , 其 收敛 性 定理 如 下 : 


定理 6.2.1 设 A ec C”…” 有 p 个 互 不 相同 的 特征 值 满足 
J| > A 2: > Apl 并 且 模 最 大 特征 值 和 是 半 单 的 ( 即 A, 的 
几何 重 数 等 于 它 的 代数 重 数 ) 如 果 初 始 向 量 uo 在 Xi 的 特征 子 
空间 上 的 投影 不 为 零 ， 则 由 (6.2.6) 产生 的 向 量 序列 {wr} 收敛 到 
ÀM 的 一 个 特征 向 量 z), 而 且 由 (6.2.6) 产生 的 数值 序列 {ur} 收敛 
到 和 i. 

证 明 由 假定 知 A 有 如 下 的 Jordan 分 解 

A = Xdiag(h,... ,J,)X 1, (6.2.7) 
其 中 XE C"" 是 非 奇 异 的 ，Ji € C™*™ 是 由 属于 入 i BJ Jordan 
块 构 成 的 块 上 三 角 和 矩阵 ，ni 十 … 十 np = n. 而 À: 为 半 单 的 假定 区 
ER 五 = 和 mm ,这 里 六, 表示 ni x ma 单位 矩阵 . 令 y= Xw, 
并 将 y 5 X 作 如 下 分 块 
y= (Vya W), X=|[X,,X;,... Xp]. 


nı no mp ni n2 Np 
则 由 (6.2.7) 得 
Akuo = Xdiag (J*,... ,JE)X T uo 
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= X, Ji + X; JËy2 + :+ XpJřyp 

= Xi + XaJžy2 十 十 XpJkyp 

=A] (xin + x,(=) x +: + 和 (总 ) 9). 
注意 到 Ai 的 谱 半径 为 PAT) = /| < 1, = 2,3,.….,p, 
即 知 上 式 蕴 含 着 

jim 4w = Xt. (6.2.8) 

而 假定 wo 在 Xi 的 特征 子 空间 上 投影 不 为 零 蕴含 着 Xy Z 0. $ 
z = Ç Xi, 其 中 C 为 Xun 的 模 最 大 的 分 量 ， 显 然 z, 是 属于 
M 的 一 个 特征 向 量 . 记 G4 为 htuo 的 模 最 大 的 分 量 ， 则 Ar Auo 
之 模 最 大 分 量 即 为 GATE. 由 (6.2.6) 知 ， 


asui — _ Auw _ Aw 4tuo / G 
ET Uk pkpk 1 G&A Ak 
再 由 (6.2.8) 即 知 {ur} 收敛 而 且 
lim uk = Xn = Ti. 
大 一 oo Ç 
由 等 式 Auri = pruk 及 {u} 收敛 到 属于 X 的 一 个 模 最 大 分 量 
为 1 的 特征 向 量 ， 立 即 可 以 推 知 (ak) 收敛 到 A. o 


当 定 理 6.2.1 KRIET ER, HRE (6.2.6) 产生 的 序列 的 
收敛 性 分 析 将 变 得 非常 复杂 , 这 时 (ux) 可 能 有 若干 个 收敛 于 不 同 
向 量 的 子 序列 (参见 本 章 习 题 30). 例如 ,假设 4 = XDX- 1, 其 中 


1 0 -1 0 
1 -1 
X= 0 0 , D = diag(3,2,1,—3). 
1 2 1 1 
-1 0 0 1 


此 时 4 有 两 个 模 最 大 的 特征 值 X, = 3 和 和 2 = -3. 因此 定理 6.2.1 
的 条 件 不 满足 ， 取 初始 向 量 为 uo = (1,1, 1,1)”， 通 过 简单 的 计算 
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3k 十 4 
1 2k 十 4 
Aku = XD" X `u = = 
° ° 5 | 9+2k+1— 4 +6(—3) 
—3k + 6(-3)* 


HERRA, H AE (6.2.6) 产生 的 向 量 序列 (uz) 有 两 个 收敛 的 子 
序列 ， 分 别 收敛 于 向 量 


1 5\ T 1 5 AT 
zí = € 0, 1, 7) 和 T2 一 (到 0, 7， 1) ` 


注意 此 时 z, +r: 和 zl -r 分别 是 属于 -3 和 3 的 特征 向 量 . 
事实 上 ， 适 当 修 改 (6.2.6) 可 使 等 法 对 于 此 例 所 述 的 情况 下 亦 是 
收敛 的 .请 读者 作为 练习 修改 (6.2.6) 使 其 适用 于 à = -—A 而 
l| > [Asl > …|An| 的 情形 . 

此 外 ， 从 定理 6.2.1 的 证 明 亦 可 看 出 ， 竺 法 的 收敛 速度 主要 取 
决 于 A/A 的 大 小 ， 在 定理 6.2.1 的 条 件 下 ， 这 个 数 总 是 小 于 1 
的 ， 它 越 小 收敛 也 就 越 快 . 当 它 接近 于 1 it, KAERRA. 为 
了 加 快 于 法 的 收敛 速度 ， 通 常 可 采用 位 移 的 方法 ， 即 应 用 宏 法 于 
4 -pI E. 如 果 适 当选 取 /可 使 4 - AH 之 模 最 大 特征 值 与 其 他 
特征 值 之 模 的 距离 更 大 ， 就 可 起 到 加 速 的 目的 .例如 若 在 上 例 中 
取 A= 3 ， 即 若 对 上 面 给 出 的 矩阵 4 应 用 每 法 于 4- 37 ， 则 此 时 
产生 的 向 量 序列 (uz) 将 收敛 到 4 之 属于 -3 的 一 个 特征 向 量 . 

HEET UREN 4 的 一 个 模 最 大 的 特征 值 和 及 其 对 应 的 
一 个 特征 向 量 z1. 假如 我 们 还 要 求 第 二 个 模 最 大 的 特征 值 Ó, 
直接 用 (6.2.6) 进行 迭代 是 不 行 的 ， 必 须 先 对 原 和 矩阵 降 阶 才 行 . F 
阶 就 是 在 知道 了 Xi 和 zi 的 前 提 下 ， 把 矩阵 4 降低 一 阶 ， 使 它 只 
包含 4 的 其 余 特 征 值 A2,... An 用 来 完成 这 一 任务 的 方法 通常 
称 作 收缩 技巧 ， 最 简单 实用 的 收缩 技巧 是 利用 正 交 变换 .假设 

Az, = Ami, (6.2.9) 
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现 假设 本 矩阵 P 使 


Pri = ael， (6.2.10) 
这 里 el = (1,0,... ,0)T, 则 将 (6.2.10) 代入 (6.2.9) 并 整理 可 得 
PAP*e; = Miel, 
即 PAP* 有 如 下 形状 
PAP* = | à * | ， 
0 B, 


其 中 B 是 nn 一 1 NAR, 并 且 它 的 特征 值 是 和 2,.…. An 因此 ,要 
求 2, 只 要 对 B, 应 用 军法 即 可 . 而 变换 (6.2.10) 可 用 复 的 House- 
holder 变换 来 实现 . 

作为 本 节 的 结束 ， 我 们 希望 指出 的 是 ， 由 于 短 法 的 计算 公式 
依赖 于 矩阵 特征 值 的 分 布 情况 ， 因 此 实际 使 用 时 很 不 方便 ， 特 别 
是 不 适用 于 自动 计算 ， 只 是 在 矩阵 阶 数 非常 高 、 无 法 利用 其 他 更 
有 效 的 算法 时 ， 才 用 闭 法 计算 少数 几 个 模 最 大 的 特征 值 和 相应 的 
特征 向 量 . 然而 ， 禾 法 的 基本 思想 是 重要 的 ， 由 它 可 以 诱导 出 一 
些 更 有 效 的 算法 . 


86.3 F W > 


KORI X fr RANIR, MAAA HIRRIET A bK 4 的 模 最 

小 特征 值 和 对 应 的 特征 向 量 . 因此 ， 其 基本 迭代 格式 为 : 

Ayk = Zk-1, 

M= G, GE y 8 Kari, 

Zk = Ye/ Hk- 
由 上 一 节 的 讨论 知 ， 若 4 的 特征 值 为 Anl < Anil < … < |l. 
则 {z1} 收敛 到 4 之 对 应 于 An 的 一 个 特征 向 量 ， 而 {jx} 收敛 于 
AZ), 其 收 敏 速度 由 | 和 ,|/|An-1| 的 大 小 来 决定 . 
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在 实际 应 用 中 ， 反 宪法 主要 是 用 来 求 特 征 向 量 的 ， 是 在 用 某 
种 方法 求 得 4 的 某 个 特征 值 X 的 近似 值 Xi 之后， 然后 应 用 反 血 
法 于 4 - XI E. 也 就 是 说 在 实际 计算 中 常用 的 是 带 位 移 的 反 徊 
š. 设 / 是 给 定 的 位 移 . 带 原 点 位 移 4 的 反 和 军法 的 迭代 格式 如 下 : 

人 (6.3.1) 
zk = Vk/ vell2, 

从 (6.3.1) 可 以 看 出 ， 反 短 法 每 近代 一 次 就 需要 解 一 个 线性 方程 
组 , 这 要 比赛 法 运算 量 大 得 多 . 但 是 , 由 于 方程 组 的 系数 矩阵 不 随 
k 的 变化 而 变化 ， 所 以 能 够 事先 对 它 进 行列 选 主 元 的 LU 分 解 ， 
然后 每 次 迭代 就 只 需 解 两 个 三 角形 方程 组 即 可 . 

另外 需要 顺便 指出 的 是 ， 这 里 只 是 为 了 下 面 的 分 析 方便 ， 而 
在 (6.3.1) 中 采用 || | 进行 规范 化 ， 在 实际 使 用 时 是 以 ||. loo 进 
行规 范 化 的 . 

假定 我 们 将 4 的 特征 值 排序 为 

0 < Jà = al <| — yj S< |Às -ps < lAn — nl, 

则 由 前 一 节 对 知 法 讨论 知 ， (6.3.1) 产生 的 向 量 序列 {zx} 将 收敛 
到 入 的 一 个 特征 向 量 , 其 收敛 速度 取决 于 | 入 一 4|/|X2 一 4| 的 大 
小 ，4 与 入 越 洁 近 ， 其 收敛 速度 就 越 快 . 

由 此 可 见 , 从 收敛 速度 的 角度 来 考虑 , 用 (6.3.1) 进行 迭代 时 ， 
4 RARE 4 的 某 个 特征 值 越 好 ， 但 是 当 / 与 4 的 特征 值 很 
Mum, A-a 就 与 一 个 奇异 矩阵 很 举 近 ,每 迭代 一 步 就 需 解 一 
个 非常 病态 的 线性 方程 组 ， 然 而 ， 实 际 计算 的 经 验 和 理论 分 析 的 
结果 表明 ， A-u 的 病态 性 ， 并 不 影响 其 收敛 速度 ， 而 且 当 4 与 
4 的 某 个 特征 值 很 佑 近 时 ， 常 常 只 需 达 代 一 次 就 可 以 得 到 相当 好 
的 近似 特征 向 量 . 为 弄 清 这 点 ， 我 们 做 如 下 的 简要 分 析 . 

假定 入 是 4 的 一 个 单 特征 值 ._ zx 是 属于 À 的 单位 特征 向 
E. 并 假定 (6.3.1) 中 的 位 移 4 与 入 十 分 车 近 , H z 是 良 态 的 ， 即 
cond (z) REKK. 现 取 U, e Cnx(n-1) 使 [z,U2] EAER, EH Us 
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的 列 构成 span {z}+ (span {z}+ 表示 特征 子 空间 span (z) 的 正 交 
补 空间 ) 的 一 组 标准 正 交 基 . 由 条 件数 的 定义 知 

cond (z) = ||U2(AI — A2) U3 lle = I(M — A2) U|, (6.3.2) 
其 中 A = U;AU.. 

现 假定 给 定 zo 之 后 ， 我 们 是 用 列 主 元 的 Gauss 消去 法 求解 
(6.3.1) 中 的 线性 方程 组 (4 一 pIu = zo BJ. 记 计 算 解 为 O. 由 
Gauss 消去 法 的 误差 分 析 知 ， G 满足 

(A — pT- E)@) = zo, . 
Ep E 5 A-p 和 zo 有关, 但 ||Ell。 有 一 致 的 上 界 ， 通 常 差 不 
多 是 机 器 精度 . W e= -v = (A — nl) E, 并 将 6 分解 为 
e = Tı + T2, 
其 中 zl € span (z), z2 € span {z}+. 则 存在 aeE C ĦA yec? 
使 得 
zı = QT， T= Uyy. 


另 一 方面 ， 我 们 有 


A pl = |z, U] A—4 zx*AU, r | 
0 Az — pI U; 
因而 


nl i AU2(h2 一 ADD) | z* | 
(A - ul)” ' = [z, U?) | 0 (Aa - pI)! | . 
这 样 ， 我 们 就 有 
a = z*e = z*(ÁÀ — nT) ED 
Te 
入 一 太 
y = Uje= (As — nD U; EQ. 


I — AU,(A; — uD U}; ) ED,, 
( ) 


注意 到 
(Aa- nD = (I+ (A — (A - AD) (A2 — XD", 


171 


我 们 就 知道 ， 当 /与 À Tyta, 
s = ||(42 — 1D)™ U2 = (hs — MD) U2 = cond (z). 
因此 ,在 z 良 态 的 条 件 下 ，s 也 不 会 太 大 ， 于 是 
lizzllz = liyll < sll E ll; 
就 是 一 个 不 太 大 的 量 ， 但 


lal < pe + | As) NEd | 


将 是 一 个 很 大 的 量 . 换 句 话 说 ， 求 解 线性 方程 组 所 引起 的 误差 ， 
主要 对 其 解 在 特征 子 空间 span {z} 上 投影 的 长 度 有 影响 ， 误 差 越 
大 ， 其 计算 解 在 特征 子 空间 span (z) 上 投影 就 越 大 ， 这 对 于 我 们 
要 计算 入 的 近似 特征 向 量 而 言 ， 是 十 分 有 利 的 ， 因 为 我 们 关心 的 
主要 是 所 得 向 量 的 方向 而 并 非 它 的 大 小 . 

上 面 的 分 析 实 质 上 亦 表 明 ， 在 A 十 分 靠近 入 H z 良 态 的 条 
件 下 ， 我 们 只 需 使 用 一 次 反 震 法 就 可 得 到 和 之 较 好 的 近似 特征 向 
ÉE. 为 了 说 明 这 一 点 ， 我 们 先 介绍 一 个 基本 概念 . 

假设 机 器 精度 为 u 对 于 一 个 给 定 的 u € C, 如 果 存 在 已 e 
Cxn 使 得 

det(A + E -pI)=0 BH |IEl| = O(u), 
则 我 们 就 说 y 是 4 的 一 个 达到 机 器 精度 的 近似 特征 值 . 同样 ， 对 
于 一 个 给 定 的 z e C", 如 果 存 在 e Cn" 满足 IF = O(u) 使 
得 z 是 A+ FF 的 特征 向 量 ， 则 我 们 就 说 z 是 4 的 一 个 达到 机 器 
精度 的 近似 特征 向 量 . 

若 4 是 4 的 一 个 达到 机 器 精度 的 近似 特征 值 ， 则 存在 E € 
C°” 满足 Ell = Olu) 使 得 (A + E- ul)y = 0 有 非 零 解 . 设 
ye C" 满足 

(A+E-uDy=0 和 llyllz = 1, 
那么 我 们 有 
(A+Ey =u H IEl = O(u), 
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即 y 是 4 的 一 个 达到 机 器 精度 的 近似 特征 向 量 . 换 句 话说， 若 我 
们 在 (6.3.1) 中 取 zo = (4- uD)u, 那么 在 精确 计算 的 前 提 下 ， 只 需 
用 (6.3.1) 迭代 一 次 就 可 得 到 A 的 达到 机 器 精度 的 特征 向 量 ， 当 
R, 在 实际 计算 时 我 们 不 会 按照 这 种 方式 来 选取 初始 向 基 zo 的 ， 
这 里 只 是 说 明 一 个 道理 ， 即 在 适当 的 选取 初始 向 量 之 后 ， 反 磊 法 
具有 “一 次 迭代 ”人 性. 

这 里 还 需 指出 的 一 点 是 ， 在 和 比较 病态 时 ， 利 用 反 宪 法 再 进 
行 第 二 次 迭代 一 般 不 会 得 到 更 好 的 近似 特征 向 量 ， 请 看 下 例 . 


设 
1 1 
a= | ja di 


它 有 特征 值 Xi = 0.99999 和 Xç = 1.00001, 以 及 对 应 的 特征 向 量 
zl = (1, -10-5)7 和 z, = (1, 105)". 这 两 个 特征 值 的 条 件数 
都 是 105 数量 级 的 . 取 n = 1, zo = (0,1), 应 用 反 短 法 迭代 一 
次 (在 10 位 10 进 制 的 浮 点 数 系 下 进行 ), WE a = (1 0)7, 并 
且 有 ||Azi - jzill2 = 10-10. 这 说 明 zi 已 是 4 的 一 个 达到 机 器 
精度 的 近似 特征 向 量 . 但 若 再 迭代 一 次 将 产生 z = (0, 1)F, WA 
Azz — HAzazllz = 1. 

最 后 , 我们 来 介绍 一 下 在 实际 计算 时 初始 向 量 zo 的 两 种 常用 
的 选取 方法 .第 一 种 是 先 利 用 随机 数 发 生子 程序 随机 地 选取 向 量 ， 
然后 再 将 它 规范 化 后 作为 初始 向 量 zo. 第 二 种 方法 是 所 谓 的 “ 半 
次 迭代 法 ”. 如 前 所 述 ， 用 (6.3.1) 进行 迭代 时 ， 首 先 要 作 好 4 一 pI 
的 LU 分 解 : 

A— ul = LU. 
这 里 为 了 令 述 简略 起 见 ， 我 们 略 去 了 选 主 元 的 排列 方 阵 ， 那 么 第 
一 次 迭代 为 
LUv = 20. 

我 们 选 z = Le, 其 中 e 为 分 车 全 为 1 的 向 量 ， 则 为 了 求 v, 只 要 
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求解 一 个 三 角形 方程 组 

Uv = e. 
这 样 一 来 ， 初始 向 量 zo 不 需要 明确 给 出 ， 而 完成 这 一 次 迭代 只 需 
求解 “ 半 次 ”线性 方程 组 . 


864 QR 方法 


在 这 一 节 ， 我 们 来 介绍 著名 的 QR 方法， QR 方法 是 自 电子 
计算 机 问世 以 来 矩阵 计算 的 重大 进展 之 一 ， 也 是 目前 计算 一 般 矩 
阵 的 全 部 特征 值 和 特征 向 量 的 最 有 效 方法 之 一 QR 方法 是 利用 
正 交 相似 变换 将 一 个 给 定 的 矩阵 逐步 约 化 为 上 三 角 和 矩阵 或 拟 上 三 
角 和 矩阵 的 一 种 迭代 方法 ， 其 基本 收敛 速度 是 二 次 的 ， 当 原 和 矩阵 实 
对 称 时 ， 则 可 达到 三 次 收敛 ， 详 细 情 况 参 见 [21]. 

6.4.1 基本 和 迭代 与 收敛 性 

对 给 定 的 Ao = A € C"", QR 算法 的 基本 迭代 格式 如 下 : 

Am-1 = QmRm, 

Am = Rm Om, 
其 中 Qm JEER, R, 为 上 三 角 和 矩阵 .为 了 下 面 的 理论 分 析 方 
便 起 见 ， 我 们 这 里 暂且 要 求 Rm 的 对 角 元 都 是 非 负 的 .由 (6.4.1) 
容易 推出 


m=1,2,..., (6.4.1) 


Am = QmAm-1Qm, (6.4.2) 
即 矩 阵 序列 {Am} 中 的 每 一 个 矩阵 都 与 原 矩 阵 4 相似 . 反复 运用 
(6.4.2) 可 得 
Am = Q> 4G。， (6.4.3) 
其 中 Qm = Q1Q2…Qm. 将 Am = Qm Rm 代入 上 式 即 有 
ÕmQm+1 Rm41 = AQ, 
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从 而 有 
ÕmQm+1 Rm41 Rm- Ri = AQ;A R... Ri, 
即 
GE = AQ, hn,, 
其 中 R, = ReRe- Ri, 上 = m,m+1. 由 此 即 知 
Am = On Rm. (6.4.4) 
利用 (6.4.4) 这 一 基本 关系 式 ， 我 们 可 以 导出 QR ARSE 
法 的 关系 W Rma 的 元 素 为 yo, Omp 的 第 一 列 为 4"), 则 由 
(6.4.4) 可 得 
A™el = uqi” - 
所 以 QU) 可 以 看 作 是 对 A 用 e, 作 初 始 向 量 的 守法 所 得 到 的 向 
E. 车 4 的 模 最 大 特征 值 Xi 与 其 他 特征 值 分 离 ， 则 U 将 收 全 
到 4 的 一 个 属于 X 的 特征 向 量 . 
事实 上 ， 在 适当 条 件 下 ， Am 的 所 有 的 或 大 部 分 的 对 角 线 以 
下 的 元 素 都 将 趋向 于 零 . 下 面 的 定理 仅 叙 述 发 生 这 种 情况 的 一 个 
易于 验证 的 条 件 . 
定理 6.4.1 设 4 的 n 个 特征 值 满足 Al > Dx] > … > 
Inl > 0 并 设 了 的 第 i 行 是 4 对 应 于 N 的 左 特征 向 量 ， 如 果 Y 
有 LU 分 解 ， 则 由 (6.4.1) 产生 的 矩阵 Am = [a] 的 对 角 线 以 下 
的 元 素 趋向 于 零 ， 同 时 对 角 元 素 al) 趋向 于 As i = 1,2,... ,n. 
证 明 令 | 
X=Y-!, A= diag(N,...,M), 
则 有 A= XAY. 假定 了 的 LU 分 解 为 Y = LU, 其 中 工 是 单位 下 
三 角 和 矩阵 ， U 是 上 三 角 和 矩阵 ， 这样 ， 我 们 有 
A” = XA"Y = XA” LU = X(A”LA™)A™U 
= X(I + Em)A™U, (6.4.5) 
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Ep I+ Em = ALA ™. 由 于 上 是 单位 下 三 角 和 矩阵 ， 而 | 和 ;| < 
|À;|G > j), 故 必 有 
lim Em = 0. (6.4.6) 

MES X 的 QR 分 解 为 ， 三 = QR. H X 非 奇 异 ， 我 们 可 
要 求 RR 的 对 角 元 素 均 为 正 数 .将 这 一 分 解 代入 (6.4.5) 可 得 

Am = QR(I + Em)A”U = QU + RE, RC l)RATWU. (6.4.7) 
当 m 充分 大 时 ，T+ RE; R-1 是 非 奇异 的 , 故 它 有 如 下 的 QR 分 
解 


I+ RE,R-l = On Bn, (6.4.8) 
其 中 Rm 的 对 角 元 素 均 为 正 数 ， 从 (6.4.6) 和 (6.4.8) 不 难 推出 
,lim Qm= lim Rm = T. (6.4.9) 
将 (6.4.8) 代入 (6.4.7), 得 
= (QQ,,)(R,, RA™U), 


即 我 们 已 找到 了 A” 的 一 个 QR fW. 为 了 保证 这 一 分 解 中 的 上 
三 角 和 矩阵 的 对 角 元 素 均 为 正 数 ， RNE, 


À 
Dı = diag (K Anl 
11 tünn 
Da = diag (r T o) 


其 中 wi EU 的 第 i 个 对 角 元 素 ， 于 是 我 们 有 
= (QO D” D2)(D7 Dr " Èm RA™U). 
将 上 式 与 (6.4.4) 比较 ， 并 注意 到 QR 分 解 的 唯一 性 ， 就 有 
Gn = QmD” D2, KR, = D7’ Dy ™ŘmRA™U. 

将 上 式 代入 (6.4.3) 即 有 

Am = Di(Di)™O%Q" AQQm DP D2. 
再 注意 到 

A= XAY = XAX-! = QRAR Q", 
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我 们 就 知 
Am = DI(D*:)™O* RAR! Ĝm D? D3. 
由 此 便 可 立即 推出 定理 的 结论 成 立 . D 


注 6.4.1 Am 的 上 三 角 部 分 的 元 兹 并 不 一 定 收敛 ,这 是 因为 
DT 的 极限 一 般 并 不 存在 . 


6.4.2 X Schur 标准 形 


由 于 实际 应 用 中 所 遇 到 的 大 量 的 特征 值 问题 都 是 关于 实 和 矩阵 
的 ， 因 此 我 们 自然 希望 设计 只 涉及 实数 运算 的 QR ER, MAE 
Ae Enxn, 令 A = A, WEER: 
Ak = QERL, 
Aky = RkQrk, 
其 中 Q 是 正 交 和 矩阵， R 是 上 三 角 和 矩阵 . 
然而 ， 此 时 由 于 复 共 恩 特 征 值 的 存在 ， 我 们 自然 不 能 再 期 户 
(6.4.10) 产生 的 A 仍然 逼近 一 个 上 三 角 和 矩阵 . WA, A 将 会 趋 
向 于 什么 呢 ? 这 就 涉及 到 一 个 实 和 矩阵 在 正 交 相 似 变换 下 的 标准 形 
问题 . 事实 上 ， 我 们 有 


定理 6.4.2 ( 实 Schur 分 解 ) B Ac R”, 则 存在 正 交 和 矩阵 
Q e R”, 使 得 


k= 1,2,..., (6.4.10) 


Ri Ro … Rim 
Ra + R 
qr4Q@= | (6.4.11) 
Rmm 


其 中 R, 或 者 是 一 个 实数 ， 或 者 是 一 个 具有 一 对 复 共 犯 特征 值 的 
2 阶 方 阵 . 


通常 称 分 解 (6.4.11) 为 矩阵 4 的 实 Schur 分 解 , 而 称 其 右边 
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的 拟 上 三 角 和 矩阵 为 4 的 实 Schur REW. 显然 ， 只 要 求 得 一 个 实 
矩阵 的 实 Schur 标准 形 ， 我 们 就 可 很 容易 求 得 它 的 全 部 特征 值 . 

由 定理 6.4.1, 我 们 不 难 想到 迭代 (6.4.10) 产生 的 A, 将 应 该 通 
近 于 4 的 实 Schur 标准 形 . 

此 外 ， (6.4.10) 作为 一 种 实用 的 迭代 法 是 没有 竞争 力 的 ， 其 
原因 有 二 : 一 是 每 次 迭代 的 运算 量 太 大 ; 二 是 收敛 速度 太 慢 ， 因 
此 ， 要 想 使 其 成 为 一 种 高 效 的 方法 ， 我 们 必须 减少 其 每 次 迭代 所 
需 的 运算 量 ， 提 高 其 收敛 速度 . 这 正 是 本 节 下 面 所 要 讨论 的 主要 
内 容 . 

在 下 面 的 讨论 中 ， 如 无 特别 说 明 ， 我 们 总 假定 给 定 的 矩阵 是 
实 的 . 


6.4.3 上 Hessenberg 化 


实际 计算 时 ， 为 了 减少 每 次 迭代 所 需 的 运算 量 ， 总 是 先 将 原 
矩阵 4 经 相似 变换 约 化 为 一 个 准 上 三 角 和 矩阵 ， 然 后 再 对 约 化 后 的 
矩阵 进行 QR ER. 

W 4e R"*". 我 们 希望 计算 一 个 非 奇异 矩阵 Q 使 得 

A= QAQ"! 
具有 某 种 特殊 形式 .很 自然 ， 我 们 希望 4 的 零 元 素 越 多 越 好 . 首 
先 我 们 来 看 利用 Householder 变换 可 以 得 到 什么 样 的 A. 

对 于 给 定 的 4 = [aij] € R, 第 一 步 ， 我 们 自然 应 该 选取 
Householder 变换 H, 使 得 H, 4 的 第 一 列 有 尽 可 能 多 的 零 元 素 (至 
多 只 能 有 n 一 1 个 零 元 素 ). 然而 ， 为 了 保证 对 4 进行 相似 变换 ， 
在 对 4 进行 了 行 变换 之 后 ， 必 须 亦 对 4 进行 同样 的 列 变换 ， 即 应 
将 H, PHRF H.A 上 变 为 

H ,AB,.. 
这 样 , 为 了 保证 已 在 H, A 的 第 一 列 所 出 现 的 零 元 素 不 致 于 在 右 乘 
H, 时 被 破坏 掉 ， 我 们 应 该 选取 H, 具有 如 下 形状 
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H, = | 1 0 l (6.4.12) 
ln-l 
利用 形 如 (6.4.12) 的 Householder 变换 对 4 进行 相似 变换 即 有 
Ql aT H, 
fa B Az | 
其 中 al = (aa as an o = (alzala ,aln)， 422 是 4 
的 右 下 角 的 n 一 1 NETRE. H (6.4.13) 易 知 ， Householder 变换 
H, 的 最 佳 选择 应 该 使 得 
Hia = pel， (6.4.14) 
其 中 pe R, el 是 n 一 1 阶 单位 矩阵 的 第 一 列 ， 这 样 一 来 ， 就 可 
选取 形 如 (6.4.12) 的 Householder 变换 H, 使 得 (6.4.13) 第 一 列 有 
n-2 TEER. 
然后 , 再 对 422 = H, AnH, 进行 同样 的 考虑 , 又 可 找到 House- 


H, AH, = | (6.4.13) 


holder 变换 
B, = 1 0 
0 H, 
使 得 
* 
* 
(B,A; Ho)el = | 0 
0 
从 而 令 
H, = 1 0 ;, 
0 H, 
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即 有 


hi hi 
ha hz | * 
h32 


HH, AH, H; = 


.0 本 
如 此 进行 n 一 2 步 ， 就 可 找到 n 一 2 个 Householder 变换 Hi,...， 
H, x, 使 得 
H,-x.. HAH; +- Hn-2=H, 
其 中 H = [hij] 满足 


hij=0, i>j+1, 


即 
hi hz hs > yim- hin 
ha haz hz3 > hzmn-1 Rhon 
H=| 0 hz hs … hsn-! jhan |. (6.4.15) 
0 0 0 `... hnn-i hnn 


通常 称 形 如 (6.4.15) 的 矩阵 为 上 Hessenberg 矩阵. 

现在 令 

Qo = HIH; :: : H,_;, 
则 有 
QE AQo = H. (6.4.16) 

通常 称 分 解 式 (6.4.16) 为 4 的 上 Hessenberg 分 解 . 

总 结 上 面 利用 Householder 变换 约 化 一 个 矩阵 为 上 Hessen- 
berg 矩阵 的 方法 可 得 如 下 的 实用 算法 . 

算法 6.4.1 (计算 上 Hessenberg 分 解 : Householder 变换 法 ) 

fork=1:n-2 

[v, 8] = house(A(k + 1 : n, k)) 
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A(k+1:m,k:m)=(I-BuoT)A(k+ l:n, k:n) 
All:n,k+1:n)=A(l:n,k+1:n)(I — 8v?) 
end 


这 一 算法 计算 出 的 上 Hessenberg 矩阵 就 存放 在 A 所 对 应 的 
存储 单元 内 ， 运 算 量 为 10m3/3; 如 果 需 要 累积 Qo = Hi-  H,->, 
则 还 需要 再 增加 运算 量 4n3/3. 

此 外 ， 上 述 算法 计算 得 到 的 上 Hessenberg 和 矩阵 A 满足 

B=QT(A+E)Q, 
其 中 Q REZE, [Ellr < cn?4lleu, 这 里 c 是 一 常数 ，u 是 
机 器 精度 . 详 见 文献 [21]. 

当然 , 我 们 亦 可 用 Givens 变换 将 4 约 化 为 上 Hessenberg 形 ， 
一 般 所 需要 的 运算 量 大 约 是 算法 6.4.1 的 二 倍 . 但 是 ， 如 果 4 有 
较 多 的 零 元 素 ,， 则 适当 安排 Givens 变换 的 次 序 ， 可 使 运算 量 大 为 
减少 ， 另 外 ， 为 了 节省 运算 量 ， 也 可 采用 列 主 元 的 Gauss 消去 法 
将 4 约 化 为 上 Hessenberg 和 矩阵. 不 过 这 样 做 ， 虽 然 运 算 量 少 ， 但 
数值 稳定 性 较 差 . 

尽管 一 般 来 讲 上 Hessenberg 分 解 是 不 唯一 的 ， 然 而 我 们 可 以 
证 明 

定理 6.4.3 设 AER"" 有 如 下 两 个 上 Hessenberg 分 解 : 

UTAU=H, VTAV =G, (6.4.17) 
Hp U = [ui ua] fl V = [2,u2,... ,vn] E n NEXE 
BE, H = [hj] #l G = [gu] Æ Hessenberg 和 矩阵. #F u = v, 而 
B. H 的 次 对 角 元 豪 hiii 均 不 为 零 ， 则 存在 对 角 元 素 均 为 1 或 
-1 的 对 角 和 矩阵 D 使 得 


U=VD, H=DGD. (6.4.18) 
证 明 假定 对 某 个 m(1 <m <n) 已 证 
u; = EjUj, 了 = 1,2, ... | m, (6.4.19) 
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其 中 el =1ej=1 或 -1. 下 面 来 证 存在 emn =1 或 -1 使 得 
Um+1 = Em+1Vm+1: 
从 (6.4.17) 可 得 
AU = UH, AV = VG. 
分 别 比较 上 面 两 个 矩阵 等 式 的 第 mm 列 ， 可 得 


Aum = hint + + hmmum + hm+1,mUm+1; (6.4.20) 
Avm = 91m01 + : ` ` + g9mmUm + 9m+1,mUm-+1: (6.4.21) 
分 别 在 (6.4.20) 和 (6.4.21) 两 边 左 乘 uf M v7, 可 得 
him =u] Aum, gim = W Àu, i =1,2,... ,m. 
再 利用 (6.4.19) 就 有 
him = EiEmJim, 1=1,2,... ,m. (6.4.22) 
将 (6.4.22) 代入 (6.4.20), 并 利用 (6.4.19) 和 (6.4.21), 可 得 
hm+1,mum+1 = Em (Avm — £1gim01 — `- — Et gmmUm) 
= em (Avm — gm 一 … 一 gmmum) 
= EmJm+1,mVm4+1- (6.4.23) 
由 此 即 知 


|ha+,m| = |gm+1,ml- 
而 hm+1,m Z 0, 故 (6.4.23) AiE 3⁄8 
Um+l = €m+1Um+15 
其 中 emy = 1 5 -1. 
因此 ， 由 归纳 法 原理 即 知 定理 得 证 . 0 


一 个 上 Hessenberg 矩阵 H = [hij], 如 果 其 次 对 角 元 素 均 不 为 
$, BP himi #0, i=1,2,... n- 1l, 则 称 它 是 不 可 约 的 ， 上 述 定 
理 表明 ， 如果 QT4Q = H 为 不 可 约 的 上 Hessenberg pF, RH 
Q 为 正 交 矩阵 ， 则 Q 和 H 完全 由 Q 的 第 一 列 确定 (这 里 是 在 相 
差 一 个 正 负 号 的 意义 下 的 唯一 ). 
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HEBRE H € R"*" 是 上 Hessenberg 和 矩阵， 我 们 来 考虑 对 H 
进行 一 次 QR 达 代 的 具体 实现 问题 ， 第 一 步 是 计算 H 的 QR 分 
解 . 由 于 H 的 特殊 性 , 这 一 步 可 用 n 一 1 个 平面 旋转 变换 来 完成 ， 
其 具体 计算 细节 可 从 下 面 5 阶 矩 阵 的 例子 中 明白 . 设 n= 5, 并 假 
定 我 们 已 经 确定 了 两 个 平面 旋转 变换 Pi 和 Pos 使 得 P,, PH A 
如 下 形状 : 


x x x x x 

x x x x 

Ps P2H = h33 x x 
ha x x 

x x 


然后 在 (3, 4) 坐标 平面 内 选择 平面 旋转 变换 Poa 使 Ps P; s Pia H 
的 (4, 3) 位 置 上 的 元 素 为 零 . 即 确定 P; = G(3,4,03) 使 得 旋转 


角 03 满足 
cosb sinb h3 | | x 
— sin 05 cos 03 has 本 0 
这 样 ， PasPsPi2H 就 有 如 下 形状 : 


x 


x x 
x x 
Pas P23 Pi2H = x 


X X X X Xx 
X X X X Xx 


由 此 不 难看 出 ， 对 一 般 的 n 阶 上 Hessenberg 矩阵 H, 我 们 可 
以 确定 n 一 1 个 平面 旋转 变换 Piz, Poss- , Pn-i,n 使 得 
PinPn-2,n-1:'"PR2H=R 
是 上 三 角 和 矩阵 . $ Q = (Pin … Pi), N H = QR, 即 这 样 就 已 
ZET H 的 QR 分 解 ， 要 完成 一 次 QR ER, REMA 
HB = RQ = RPPS -Pain 
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由 于 P: 是 (1,2) 坐标 平面 内 的 旋转 变换 ， 因 此 RPE 仅 有 前 
两 列 与 RKA, m RPE 的 前 两 列 由 R 的 前 两 列 的 线性 组 合 构 
成 ， 玉 又 是 上 三 角 和 矩阵 ， 故 RPL 必 有 如 下 形状 (n = 5 的 情形 ): 


X X x Xx 


x X X X X 


同样 ， Bs 是 (2,3) 坐标 平面 内 的 旋转 变换 ， RPB PB 仅 有 第 二 
列 和 第 三 列 与 RPE 不 同 , 它们 是 RPE 的 第 二 和 第 三 列 的 线性 组 
合 ， 故 RPI P 有 如 下 形状 (n = 5 的 情形 ): 
x x x x 
x x x 
PsPi2H = x 


x X x x 


x 
x x 
x 
x 


如 此 进行 下 去 , 最 后 我 们 得 到 的 E 仍 是 一 个 上 Hessenberg 矩阵 . 
而 且 不 难 算出 ， 这 样 进行 的 一 次 QR 迭代 的 运算 量 是 O(n2). tE 
意 ， 对 一 般 方 阵 进行 的 一 次 QR 迭代 的 运算 量 是 O(n3). 


6.4.4 ” 带 原 点 位 移 的 QR 和 迭代 


从 定理 6.4.1 已 经 知道 ， 基 本 的 QR 算法 是 线性 收敛 的 ， 其 收 
敛 速度 取决 于 特征 值 之 间 的 分 离 程度 ， 为 了 加 速 其 收敛 速度 ， 类 
似 于 反 卉 法 ， 可 引进 原点 位 移 . 设 第 mm 步 迭 代 的 位 移 为 pm, 则 带 
原点 位 移 的 QR 迭代 如 下 : 
Hm — lm! = Qm Rm, 
Hm+1 = RmQm + pal, 
这 里 H, = H e Rnxn 是 给 定 的 上 Hessenberg 阵 . 
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现在 来 讨论 位 移 的 选取 .由 于 Hm 为 上 Hessenberg 矩阵 , 

故 其 最 后 一 行 仅 有 两 个 非 零 元 素 h, A OD). 3 QR 算法 收 

A, WH m 充分 大 时 ， Nm) ， 就 很 小 因而 A 就 接近 于 H 的 

一 个 特征 值 . 这 样 ， 根 据 从 反 等 法 所 得 到 的 经 验 ， 我 们 可 选取 位 

BY pm = .事实 上 ， 对 于 这 样 选 取 的 位 移 ， 可 以 证 明 ， 若 
Nm ,=e 很 小 的 话 ， 则 经 一 次 带 原点 位 移 QR ERE, RE 

Rn = O(e2). (6.4.24) 

显然 ,这 只 需 考察 Hm- ARI 的 右 下 角 的 2 x 2 PER Hm 

的 变化 即 可 . 由 前 面 的 讨论 可 知 , 将 Hm 一 以 WI 约 化 成 上 三 角 阵 
有 n 一 1 步 ， 现 假定 前 面 n 一 2 步 已 经 完成 ， 此 时 的 Hm 变 为 

~ a B 


ña=| ° 0 , 


这 是 因为 前 n — 2 步 不 改变 Hm — hin I 的 最 后 一 行 ， 约 化 的 第 
n — 1 步 就 是 要 消去 c, 即 确定 c= cosh 和 s = sin 0 使 得 


c 8 e“ le 
-s c el lol 
从 平面 旋转 变换 的 确定 方法 易 知 ， 此 处 
c= 5, s= Š, c = V o2 +e. 
这 样 ， 通 过 简单 的 计算 可 知 
Nt = 


b 
—s28 一 一 = 


即 (64.24) 成 立 ， 我 们 看 到 通过 原点 位 移 ， 特 征 值 的 渐进 收 剑 速 
度 从 线性 收 全 加速 而 变 成 二 次 收敛 . 
6.4.5 ”双重 步 位 移 的 QR 选 代 


上 面 所 讨论 的 带 原点 位 移 的 QR 迭代 ， 存 在 严重 的 缺点 若 
A 具有 复 共 罗 特 征 值 ， 则 实 位 移 一 般 并 不 能 起 到 加 速 的 作用 .为 
了 克服 这 一 缺点 ， 我 们 下 面 来 介绍 双重 步 位 移 的 QR ER, HÆ 
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本 思想 是 将 两 步 带 原点 位 移 的 QR 迭代 合并 为 一 步 ， 以 避免 复数 
运算 . 
W 4e R”, 考察 如 下 的 和 迭代: 
H, = QT AQ, (上 Hessenberg 分 解 ) 
Hi 一 AT = QkRk, (QR 分 解 ) (6.4.25) 
Hei = RkQk +I, k=1,2,... f 
不 失 一 般 性 ， 我 们 可 以 假定 迭代 (6.4.25) 中 出 现 的 上 Hessen- 
berg 矩阵 都 是 不 可 约 的 . 因 若 不 然 ， 在 迭代 的 某 一 步 ， 已 有 
HË * 
M, = | 0 H“ | , 
则 我 们 可 以 分 别 对 HIP 和 Hj) 进行 QR 迭代 即 可 . 

， 大 家 已 经 知道 ， 在 一 定 条 件 下 取 位 移 py = hú 可 起 到 加 速 
收敛 的 作用 ， 然 而 ， 大 家 也 熟知 实 矩 阵 可 以 有 复 特 征 值 ， 这 样 ， 
假如 H, 的 尾部 2 x 2 PER 

hé} hG, 
S= | nh MOD 
#— xW 3t96384EF(H yi 和 as 时 ， 我 们 就 不 能 期 望 NA 最 终 收 敛 
+ 4 的 某 个 特征 值 ， 因 而 此 种 情形 再 取 位 移 为 m = MD 就 完全 
起 不 到 加 速 收 伍 的 作用 ， 为 了 加 速 收 仿 ， 此 时 我 们 自然 应 该 取 入 
或 m 作 位 移 . 但 这 样 一 来 就 必须 涉及 复数 运算 ， 而 这 又 是 我 们 所 
不 希望 的 ， 为 了 避免 复 运 算 的 出 现 ， 人 们 想到 用 p 和 u 连续 作 
两 次 位 移 ， 即 进行 
H -mI = UR, Hı = RU, + ml, 
H — pml = U:R2, H = RUs + pol, 
这 里 我 们 记 H = H,. 对 上 面 迭 代 所 产生 的 矩阵 进行 一 些 简单 的 
推算 ， 可 得 


| m=n-1 


M = QR, (6.4.26) 
186 


H> = Q*HQ, (6.4.27) 


其 中 
M = (H — nD(H - pl), (6.4.28) 
Q=UU:,  R=RR. (6.4.29) 
H (6.4.28) 可 得 
M = R? -sH +tI, (6.4.30) 


其 中 
s = += h + (D e R, 
t = mpz = det Gr € R. 
因此 M -AKEE 而且 如 果 a 和 ma 均 不 是 H 的 特征 值 ， 
并 假定 在 迭代 过 程 中 选取 R, 和 R, 的 对 角 元 素 均 为 正 数 ， 则 由 
(6.4.26) 可 推 知 ，@ 亦 是 实 的 ; 从 而 由 (6.4.27) 知 H, 也 是 实 的 . 
这 也 就 是 说 ， 在 没有 误差 的 情况 下 ， 用 m 或 u> 连续 作 两 次 位 移 
进行 QR 迭代 产生 的 H, 仍 是 实 的 上 Hessenberg 和 矩阵. 但 是 ， 实 
际 计算 时 ， 由 于 舍 入 误差 的 影响 ， 如 此 得 到 的 H, 一 般 并 不 一 定 
是 实 的 . 这 样 为 了 确保 计算 得 到 的 H, 仍 是 实 的 , 根据 (6.4.26) 和 
(6.4.27), 我 们 自然 想到 按 如 下 的 步骤 来 计算 Ha: 
(1) 计算 M = R? —sH +tI; 
(2) 计算 M 的 QR 分 解 ， M = QR; 
(3) 计算 H, = QTHQ. 
| 然而 ， 如 此 计算 的 第 一 步 形成 M 的 运算 量 就 是 O(n3)， 当 
然 ， 这 是 我 们 不 希望 的 .幸运 的 是 ， 定 理 6.4.3 告诉 我 们 : 不论 采 
用 什么 样 的 方法 去 求 正 交 和 矩阵 G 使 GTHO = H, 是 上 Hessenberg 
EE, RERE Q 的 第 一 列 与 Q 的 第 一 列 一 样 ， 则 A 就 与 H, 
本 质 上 是 一 样 的 (所 有 元 素 的 绝对 值 都 相等 ). 当然 ， 这 需要 H, 是 
不 可 约 来 加 以 保证 的 . 因此 ， 只 要 H, 是 不 可 约 的 ， 则 我 们 就 可 有 
很 大 的 自由 度 去 寻求 更 有 效 的 方法 来 实现 由 互 到 奸 的 变换 . 下 
面 的 定理 给 出 H 不 可 约 的 条 件 . 
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定理 6.4.4 若 互 是 不 可 约 上 Hessenberg Æ RF, H a 和 uo 
均 非 H 的 特征 值 ， 则 H, 也 是 不 可 约 上 Hessenberg 矩阵 . 

证 明 ”用 反 证 法 . 记 H, = h), 并 假定 存在 7 (1 < 7 <n-1) 
使 得 hetir = 0, 而 hiii Z 0,í = 1,...,r 一 1. 比较 等 式 HQ = 
QH, 的 两 边 矩 阵 的 前 7 列 ， 得 

Hq; = Mja 十 …， + hjjgy +h;+1.;q;+15 j=1,...,r — 1, 

Hq = hirgi + jarg2 + + hrrgr. 


由 此 可 得 

(ao7 +o H +--- +a, Hr)q = 0, (6.4.31) 
其 中 

Qr = (hoiha2 `. ha) Z 0. 
H M = QR 8 
qı = rip Me. 
将 其 代入 (6.4.31), 并 注意 到 M 也 是 H 的 多 项 式 ， 就 有 
My = 0, (6.4.32) 

其 中 


y= (aol +oaH+..…+arH")e. 
i H = [hy], 并 注意 到 五 是 不 可 约 的 上 Hessenberg 矩阵 ， 直 接 计 
算 可 知 y 的 第 7 十 1 个 分 量 为 
arhzihaz... hr+1,r £ 0, 
这 也 就 是 说 (6.4.32) 有 非 零 解 ， 而 这 与 m 和 p 均 非 H 的 特征 值 
AeA MERRTE. o 


基于 定理 6.4.1 和 6.4.4, 我 们 可 以 从 另外 的 途径 来 实现 H 到 
H, 的 变换 ， 首先， 我 们 从 (6.4.26) m, Q 的 第 一 列 与 M 的 第 一 
列 共 线 (其 实 Q 的 第 一 列 就 相当 于 由 M 的 第 一 列 单位 化 而 得 到 
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的 ). 而 由 (6.4.30) 容易 算出 
Me: = (&1,€2,€3,0,... ,0)7, 

其 中 

& = (APY APAD -ship + t, 

@ = hD (AP + h$?) — s), 

és = h hD. 
其 次 ， 如 果 Householder 变换 P) 将 Me, 变 为 ael a € R, WJ P 
的 第 一 列 就 与 Mer 共 线 ， 从 而 Po 的 第 一 列 就 可 作为 Q 的 第 一 
A, EP Poe: = Qei. 而 由 关于 Householder 变换 的 理论 知 ， 忆 可 
以 按 如 下 方式 确定 : 

i Po = diag (Po, In-3), 


其 中 
dH-a 
Ř = Is — bvr, -| êz ， 
加 
a= (0 ++68)!, 6=2/urv 
现 令 


B = PH P), 
则 我 们 只 要 能 够 找到 第 一 列 为 ei WEZER ĝt GTH = B, 
为 上 Hessenberg 和 矩阵， 那么 Hz 就 是 我 们 希望 得 到 的 H,. 由 本 节 
所 介绍 的 约 化 一 个 矩阵 为 上 Hessenberg 矩阵 的 方法 可 知 ， 这 是 容 
易 办 到 的 . ARBRE n- 1 个 Householder 变换 Pi,P,... , Pa-1 
使 
Pa- P. BP, +- Pai =Ë 
为 上 Hessenberg 矩阵 ， 则 Q = P,...P,-, 的 第 一 列 就 为 e1. 而 
且 由 于 B 所 具有 的 特殊 性 ， 实现 这 一 约 化 过 程 所 需 的 运算 量 仅 为 
O(n2). 
189 


FLE, HTA P% H 相似 变换 为 B 只 改变 了 H 的 前 三 
行 和 前 三 列 ， 故 B 有 如 下 形状 


x X x x x x 

X x x x x x 

. + x x Xx x x 
B = PH P = + + x x x x ， 

x x x 

0 . . 

x x 


仅 比 上 Hessenberg 形 多 三 个 可 能 的 非 零 元 素 “+”. 由 B 的 这 种 特 
殊 性 易 知 ， 用 来 约 化 B 为 上 Hessenberg 形 的 第 一 个 Householder 
变换 P, 具有 如 下 形状 

P, = diag (1, P,, 1,_4), 
其 中 五 为 3 Bt Householder 变换 ， 而 且 P, BP, 具有 如 下 形状 


x X x x x x x 

x x x x x x x 

0 x x x x x x 

0 + x x x x x 

B= PHP = 0 十 十 x x x x 
x x x 

0 : 

x x 


一 般 地 ， 第 大 次 约 化 所 用 的 Householder 变换 P, 具有 如 下 形 
状 
P, = diag (Ix, P, In_k-3), 
其 中 P, 为 3 阶 Householder 变换 ， = 2,3,...,n — 3, 而 且 
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P,-a PBP, <- Ps 具有 如 下 形状 


x x x x 
x x x x 
P.-s PI BP... P. = : 
x x x 
0 + x x 


因此 , 最 后 一 次 约 化 所 用 的 Householder 变换 P,,_, 具有 如 下 形状 
. P,,-2 = diag (I, _>, P,, 2), 
其 中 P, 为 2 阶 Householder 变换 . 
综述 上 面 的 讨论 ， 就 得 到 了 著名 的 Francis 双重 步 位 移 的 QR 
迭代 算法 : | 


算法 6.4.2 (双重 步 位 移 QR 和 迭代) 
m=n-1 
s= H(m,m) + H(n,n) 
t= H(m,m)H(n,m) — H(m,n)H (n,m) 
z= H(1,1)H(1,1) + H,2)H(2,1) — sH(1,1) +t 
y = H(2,1) (H(1,1) + H(2,2) — s) 
z = H(2,1)H (3,2) 
for k=0:n-3 
[v, B] = house([z,y, zJ) 
q = max{1, k} 
H(k+1:k+3,q:n)=(I-BñuuoT)H(k+1:k+3,q: n) 
r= min{k + 4,n) 
H(1:r,k+1:k+3)=H(1:r,k+1:k+3)(I — ñuu!) 
r= H(k+2,k + 1) 
y= H(k+3,k+1) 
ifk<n—3 
z= H(k+4,k+1) 
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end 
end 
[v, 8] = house([z,y]") 
H(n-1:n,n—2:n)=(I-—ßbvT)H(n-1:n,n-2:n) 
H(1:n,n—-1:m)= H(1:n,n-1:m)(I — Bue f) 


该 算法 的 运算 量 为 1022; 如 果 需 要 累积 正 交 变 换 ， 则 还 需 再 
增加 运算 量 10"”. 


6.4.6 B&= QR 算法 


前 面 的 讨论 已 经 解决 了 用 QR 方法 求 一 个 给 定 的 实 和 矩阵 的 实 
Schur 标准 形 的 几 个 关键 的 问题 . 然而 ， 作 为 一 种 实用 的 算法 ， 还 
需 给 出 一 种 有 效 的 判定 准则 ， 来 判定 迭代 过 程 中 所 产生 的 上 Hes- 
senberg 矩阵 的 次 对 角 元 何 时 可 以 忽略 不 计 . 一 种 简单 而 实用 的 准 
则 是 ， 当 

[ha < (hult [ha aa a|)u 
时 ， 就 将 hii 看 作 零 . 这 样 做 的 理由 是 ， 在 前 面 约 化 4 为 上 
Hessenberg 矩阵 时 就 已 经 引进 了 量 级 为 Allra 的 误差 . 

综合 上 面 的 讨论 ， 就 得 到 如 下 的 隐 式 QR 算法 .该 算法 是 计 
算 一 个 给 定 的 n MEER 4 的 实 Schur 分 解 : QTAQ = T, 其 中 
Q REXER, T 为 拟 上 三 角 和 矩阵 ， 即 对 角 块 为 1x1 或 2x2 方 
阵 的 块 上 三 角 和 矩阵 ， 而 且 每 个 2 x 2 的 对 角 块 必 有 一 对 复 共 轿 特 
征 值 . 


算法 6.4.3 (计算 实 矩 阵 的 实 Schur 分 解 : 隐 式 QR 算法 ) 

(1) 输入 A. 

(2) 上 Hessenberg 化 ， 用 算法 6.4.1 计算 A 的 上 Hessenberg 
分 解 ， 得 H = US AU; Q = Uo. 

(3) 收敛 性 判定 : 
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(i) 把 所 有 满足 条 件 
lh, | < (Ia |+ (hiiiil)u 
的 hiii 置 零 ， 
(ü) 确定 最 大 的 非 负 整 数 m 和 最 小 的 非 负 整 数 4 使 


Hi Hi Hs 
0 Ho Hz 
0 0 H33 
l n-l-mm 

其 中 Ha 为 拟 上 三 角形 ， 而 Hz 为 不 可 约 的 上 Hessenberg 形 ; 

(ii) 如 果 m = n, 则 输出 有 关 信 息 ， 结 束 ， 否 则 进行 下 一 步 . 
(4) QR ÈR: 对 H. 用 算法 6.4.2 迭代 一 次 得 
Hn = PTH>P, P= PP:..P, mz. 
(5) 计算 
Q = Qdiag (I, P, Im), Hi = HisP, Ho = PHa, 
然后 转 步 (3). 


实际 计算 的 统计 表明 ， 这 一 算法 每 分 离 出 一 个 1x1 或 2x2 
子 矩 阵 平均 约 需 2 次 QR 2840. 因此 , 如 果 只 计算 特征 值 , 则 运算 
基 平 均 约 为 10n3; WR Q 和 了 都 需要 ， 则 运算 量 平 均 约 为 25n5. 


例 6.4.1 应 用 算法 6.4.3 TERE 


l 


H = n-l-m, 


m 


lan 

II 
口 Oo c = 虽 
oowh 
Onon A 
HOEN 
O om NOO 


其 次 对 角 元 收敛 人 情况 如 下 
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迭代 次 数 Olha) O(hszh) O(has|) O(Ihs4D 


1 100 100 109 109 

2 109 109 109 109 

3 109 109 107! 10° 

4 10° 10° 1073 1073 
5 10° 10° 1076 10-5 
6 107? 10° 10723 107:3 
7 107? 10° 10728 10723 
8 1074 10° Wa 收敛 
9 1078 10° 

10 10-8 10° 

11 10726 10° 

12 10-32 10° 


13 收敛 收敛 


误差 分 析 的 结果 表明 , 算法 6.4.3 所 得 到 的 实 Schur 标准 形 T 
正 交 相似 于 一 个 非常 靠近 4 的 矩阵 ， 即 
QT(A+E)\Q=Î, QTQ=I, Bl ~ |lAllzu; 
计算 所 得 到 的 变换 矩阵 Q 几乎 是 正 交 的 ， 即 
QTO=I+F, |Fl =u, 
这 里 u 表示 机 器 精度 ， 详 细 的 误差 分 析 见 文献 [21]. 


习 是 

1. 设 A 是 nxm 和 矩 隆 B 是 mxn EBE, Hmn. 证 明 : 
A(BA) = A(AB) (0,... ,0}. 

2. 设 lim A, = A, Ak = Q|TxQ; 是 Ak 的 Schur 分 解 . 证 


Bj. {Qr} 有 收敛 的 于 序列 {Qr}; ZT Q = lim Qu, WA QAQ 
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是 上 三 角 矩 阵 . 

3. 设 A c CY" RAEE, Bec” 满足 AB = BA. 
证 明 : 若 4= QTQ* 是 4 的 Schur 分 解 ， 则 8*BQ J E= E 
阵 . 

4. 设 A € C"*". 对 于 给 定 的 非 零 向 量 z e C" 定义 

R(z) = 2 Az/z*z, 
称 之 为 z 对 4 的 Rayleigh 商 . 证 明 对 任意 的 ze C"(z Z 0) 有 
llAz ~ Rz)zlp = inf ||Az 一 Acl， 
即 Rayleigh 商 有 极 小 剩余 性 . 
5. 设 4= [33], a #8. R A MRTE a 和 的 条 件数 
6. 证 明 特 征 值 和 特征 向 量 的 条 件数 在 本 相似 变换 下 保持 不 


变 . 
7. 分 别 应 用 辞 法 于 和 矩阵 
a-là 1 和 B= à 1 AZO) 
o A|: Tlo -A ’ 
并 考察 所 得 序列 的 特性 . 
110 
8. Ætt, 取 A4= | 0 1 1|, uo = (0,0,1). 得 到 一 个 
0 0 1 


精确 到 5 位 数字 的 特征 向 量 需 要 多 少 次 迭代 ? 

9. 设 A € Cnx" 有 实 特 征 值 并 满足 Xi > 和 2 2: a Ani > 
An 现 应 用 宪法 于 矩阵 A- p I. 试 证 ， 选择 u = (À + An) 时 ， 
所 产生 的 向 量 序 列 收敛 到 属于 Xi 的 特征 向 量 的 速度 最 快 . 

10. 应 用 等 法 给 出 求 多 项 式 

| p(z) = z" +02”! L... + an 
之 模 最 大 根 的 一 种 算法 . 

11. 利用 反 需 法 计算 矩阵 
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2 1 0 
1 3 1 
0 1 4 


对 应 于 近似 特征 值 À = 1.2679( 精 确 特征 值 是 = 3 — V3) 的 近似 
特征 向 量 . 

12. 设 A e C", 并 假定 入 EC flu € C" EPS (u Z 0), 
且 入 不 是 4 的 特征 值 ， 证 明 ， 可 选择 E c C"*" 满足 


Lll2 
IIE||# = 
lull>” 


使 得 向 量 v= (M -Au 是 4+ 瑟 的 一 个 特征 向 量 . 

13. 设 A, E € C"*", 并 假定 入 是 4+ 瑟 的 特征 值 但 不 是 4 
的 特征 值 . 证 明 ， 存 在 向 量 u,v € C" 使 得 

s= (OI Alu 而 且 a < lalls. 
14. 应 用 基本 的 QR ERTER 
[i a] 
A= , 
1 一 1 

并 考察 所 得 矩阵 序列 的 特点 ， 并 判断 该 矩阵 序列 是 否 收敛 ? 

15. 设 4e R”. 证 明 存 在 初等 置换 矩阵 P 和 初等 下 三 角 
矩阵 M 使 得 (MP)A(MP)-! 有 如 下 形式 


Qll Qi12 ‘°° Qin 

Q21 Q22 `° Qn 

A = (MP)A(M P)? = 0 o … asn 
0 Qn2 … Qnn 


16. 利用 习题 15 的 结果 ， 设 计 一 个 利用 非 正 交 变换 将 A 上 
Hessenberg 化 的 实用 算法 . 
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17. 设 4eCnn" zeC",X=[z,4z,...,A"-!z]. 证 明 ， 如 
B. X 是 非 奇异 的 ， 则 XX-1AX 是 上 Hessenberg 矩阵 . 

18. 证 明 : 若 H 是 一 个 非 亏损 的 不 可 约 上 Hessenberg 和 矩阵， 
则 五 没 有 重 特征 值 . 

19， 设 H 是 一 个 不 可 约 的 上 Hessenberg 和 矩阵 . 证 明 存 在 
一 个 对 角 和 矩阵 D 使 得 D-1HD 的 次 对 角 元 素 均 为 1. (D) = 
IIDD|b||D h 是 多 少 ? f 

20. 设 H € R"*" 是 一 个 上 Hessenberg 和 矩阵， 并 假定 ze R" 
是 H 的 对 应 于 实 特 征 值 和 的 一 个 特征 向 量 . 试 给 出 一 个 算法 计 
REXER Q 使 得 

T À wT 
Q HQ= | 0 H, | 

其 中 H, Z: n — 1 阶 上 Hessenberg E p. 

21. Ë H 是 一 个 奇异 的 不 可 约 上 Hessenberg 和 矩阵. 证 明 : 进 
行 一 次 基本 的 QR ERE, H 的 零 特 征 值 将 出 现 . 

22. W: 若 给 定 H = Ho, 并 由 

Hp — pkl = UR 和 Ph+li=RUK 十 AkT 
产生 矩阵 Hr, 则 
(Us ---U;) (R; = Ra) = (H — mol) =- (H — py). 

23. 设 4e R"*" — RA RAF] 8568 65 L= fE 
阵 ， 给 出 计算 4 的 全 部 特征 向 量 的 详细 算法 . 

24. 证 明 ， 对 任意 的 4eC" 有 QL 分解 ，4= QL, 其 中 
Q 是 酉 矩阵 ， 工 是 下 三 角 和 矩阵 .利用 这 一 分 解 给 出 求 矩阵 特征 值 
的 QL 算法 ， 并 给 出 QL 算法 类 似 于 定理 6.4.1 的 收敛 性 定理 . 

”25. 设 妃 是 上 Hessenberg 矩阵 , 并 且 假定 已 经 用 列 主 元 Gauss 

消去 法 求 得 分 解 PH = LU, 其 中 PP 是 排列 方 阵 ，L 是 单位 下 三 角 
和 矩阵，U 是 上 三 角 和 矩阵 . W: H = U(PTL) 仍 是 上 Hessenberg 
矩阵， 并 且 相似 于 H. 
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26. 设 


4-| oa 呈 e R”, 
0 T 


Kh T E— + —3P3OESSEOMWAFIEBU 2 x 2 矩阵 ， 设 计 一 种 算法 
计算 一 个 3 MEXER Q 使 得 
QTAQ = | T u | | 
0 on 
其 中 A(T) = XT). 
27. 设 4 e R” 是 一 个 如 下 形式 的 拟 上 三 角 矩 阵 


An A … Aik 
a- A22 : . A k | 
Akk 


其 中 Au 是 1 x 1 ARETA IARE 2 x 2 矩阵 . 
设计 一 种 计算 4 的 全 部 特征 向 量 的 数值 方法 . 

28. .借助 者 法 设计 一 种 求 一 个 给 定 矩 阵 的 最 大 奇异 值 的 算 
法 ， 并 讨论 你 所 设计 算法 的 收敛 性 . 

29. 借助 反 短 法 设计 一 种 计算 一 个 给 定 和 矩阵 的 左右 奇异 向 量 
的 数值 方法 . 

30. 设 A = XAX-!, 其 中 
X=[r1,... ,Tn], A = diag (M1,... ,Mn). 

并 假定 i 
M =e, 0<0<2r, Mal= hel> Asl >- > lAn 
证 明 : 3# 0 = 2sz/t,s 和 上 是 两 个 互 素 的 正 整数 ， 则 由 午 法 产生 的 

向 量 序列 有 + 个 收敛 的 子 序列 ， 且 分 别 收敛 到 向 量 
e n ytuo)zi + (yuo)z2, k= 1,2,... ,t, 
这 里 多 表示 X 1 的 第 i 行 向 量 . 
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31. 设 4e C™ 是非 气 损 的 , 并 假定 4 的 特征 值 满足 | 和 | > 
l| 2: 2 |Anl. 定义 


u Agk-1 
go 三 ——, q = ———n (k > 1), 
llull2 llAgx-1ll2 (k> 1) 


其 中 心 是 一 个 在 à 的 特征 子 空间 上 投影 不 为 零 的 向 量 . 试 证 : 
taa p/nY. 
lak Age — 211 oz | ): 
若 再 假定 4 是 Hermite 矩阵 ， 则 
N 和 2 2k 
Aw = A| = 0(|| ). 

32. REE Rayleigh 商 相 结合 就 得 到 著名 的 Rayleigh W 

R: 
uo — x* 
qo = Tuli “= qo Ago, 

(A—jxT)zk = qk-1, qk = IPA Hk = qkAgr, k>1, 
RE Aec 和 wo € C" 事先 给 定 ， 对 于 Rayleigh AEN, R 
们 可 以 用 剩余 

pk = |lAqk — pxrgrllz 
来 衡量 uk fü q. 作为 4 的 近似 特征 值 和 特征 向 量 的 精度 . 现 假定 
Jim. pk = 0, 试 证 : 
(1) ## Uk e Cnx(n-1) 使 得 Qs = [qx, Uk] 是 酉 矩阵 ， 则 有 


* : Hk hk 
QAQ = | gh C: , 
其 中 gk = UR Aq, h} = qç AUr, Ck = U; AUk; 
(2) pk = llgxll2; 
(3) 若 定义 


1 
yk = (pg-1T — Ce-i) 'gk-1, Sx = (1 + lykli?) ?, 


1 1 
qk = Fl | | ; 
k Yk 


则 有 
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(4) 当 上 充分 大 时 ， 存 在 DE Co-0)xt" 1) 使 得 
D*(I + yky) D = I 
而 且 
D=I+ O(ligk- l2); 


_ 1 =y ó oj. 
QQ. |, 3! 0 |: 


(6) 当天 充分 大 时 ， 有 
h* 
9k = — a yx + O (|lgx—1il|2); 

(7) 当 上 充分 大 时 ， 有 pk = O(o0k_,); 特别 当 A 是 Hermite 1⁄8 
阵 时 ， 有 pk = O(h) 这 表明 : 当 Rayleigh 商 和 迭代 收敛 时 ， 其 
收敛 速度 至 少 是 二 次 的 ( 当 A 是 Hermite 矩阵 时 ， 其 收敛 速 度 至 
少 是 三 次 的 ). 因此 ， 常 用 Rayleigh AERE mE KA. 


(5) 


上 机 习题 


1. 求 多 项 式 方程 的 模 最 大 的 根 . 
(1 用 你 所 熟悉 的 计算 机 语言 编制 利用 笑 法 求 多 项 式 方程 
f(z) =T” tan- 十 … 十 alz 二 ao=0 
的 模 最 大 根 的 通用 子 程序 . | 
(2) 利用 你 所 编制 的 子 程序 求 下 列 各 高 次 方程 的 模 最 大 的 根 : 
(i) z? + z2 — 5z + 3 = 0; 
(ü) z? — 3z — 1 = 0; 
(iii) zŠ + 101z7 + 208.01zŠ + 10891.01z5 + 9802.087“ 
十 79108.9z3 — 99902z2 + 790x ~ 1000 = 0. 
2. 求实 矩阵 的 全 部 特征 值 及 特征 向 量 . I 
(1) 用 你 所 热 悉 的 计算 机 语言 编制 利用 隐 式 QR 方法 求 一 个 
实 和 矩阵 全 部 特征 值 和 特征 向 量 的 通用 子 程序 ; 
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(2) 利用 你 所 编制 的 子 程序 计算 方程 
zl +r? +1=0 
的 全 部 根 ; 
(3) 设 
9.1 3.0 2.6 4.0 
42 53 47 1.6 
3.2 17 94 z 
61 49 35 6.2 
试 求 当 z = 0.9, 1.0 和 1.1 时 的 全 部 特征 值 ， 并 观察 特征 值 的 变化 
情况 . 
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第 七 章 ”对 称 特征 值 问题 的 计算 方法 


由 于 对 称 和 矩阵 的 特征 值 问题 具有 许多 良好 的 性 质 和 十 分 丰富 
而 又 完美 的 数学 理论 ， 因 此 关于 它 的 计算 方法 和 相应 的 理论 也 就 
成 为 矩阵 计算 中 发 展 得 最 为 完善 的 一 部 分 .这 一 章 ， 我 们 就 介绍 
其 中 几 种 最 基本 的 数值 方法 . 


87.1 ÆFA 


首先 ， 我 们 来 简要 地 介绍 几 个 对 称 矩 阵 的 特征 值 和 特征 向 量 
的 基本 性 质 ， 大 家 知道 ， 对 称 和 矩阵 的 特征 值 均 为 实数 ， 而 且 其 特 
征 向 量 可 以 构成 R” 的 一 组 标准 正 交 基 ， 即 有 


定理 7.1.1 ( 谱 分 解 定理 ) 若 4e R” 是 对 称 的 ， 则 存在 
EZER Q 8 R” 使 得 
QTAQ = A = diag (M1,..., Àn). 


此 外 ， 还 有 如 下 定理 所 述 的 极 大 极 小 性 质 . 


定理 7.1.2 ( 极 大 极 小 定理 ) 设 Ac RY” 是 对 称 矩 阵 ， 并 
假定 4 的 特征 值 为 Xi > …: > An WA 
. uľAu 
ài = max min —r— 
XEG? OFuEX, UU 
: uT Au 
= min ma 一 一 一 
XEQ*_ p10FuEX UTU 
其 中 gp 表示 R" 中 所 有 维 子 空间 的 全 体 . 
关于 对 称 矩 阵 的 特征 值 的 敏感 性 ， 我 们 有 


, 
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定理 7.1.3 (Weyl 定理 ) 设 ” 阶 对 称 矩 阵 4 和 互 的 特征 值 
分 别 为 


则 有 
là: ~ al < |A - Bll2, ¿=1,2,... ,n. 
这 一 定理 表明 对 称 矩阵 的 特征 值 总 是 十 分 良 态 的 . 
关于 特征 向 量 的 敏感 性 ， 我 们 有 
定理 7.1.4 设 4 和 4+ 是 两 个 n 阶 实 对 称 和 矩阵 ， 并 假定 


qt 是 4 的 一 个 单位 特征 向 量 ，Q = [qi, Q) 是 n WEZER, 
QTAQ 和 QT EQ 分 块 如 下 


“| "|: | a'zo- |: |: 


0 D n—1 e Po | n-1 
ln-i n— 
若 
li 
d= E -d 
n AT +>0, | 如 > < zd, 


则 存在 A+ 的 一 个 单位 特征 向 量 人 使 得 


sing = /1 — laf ah < Hlel < lal 
其 中 6 是 向 量 9 ft ë 之 间 所 夹 的 锐角 ， 即 9 = arcos lafi. 
从 几何 直观 上 来 看 ， 显 然 6 应 该 是 g 和 名 之 间 远 近 程 度 的 
一 种 较 好 的 度量 ， 因 此， 定理 7.1.4 表明 ,特征 向 量 的 敏感 性 依赖 
于 对 应 的 特征 值 与 其 他 特征 信之 间 的 分 离 程度 
其 次 ， 与 对 称 甜 阵 的 特征 值 有 密切 关系 的 是 算 阵 的 奇异 值 
如 下 的 奇异 值 分 解 定理 在 数值 分 析 中 是 十 分 重要 的 . 


定理 7.1.5 (SVD 分 解 定 理 ) i À c R"*", 则 存在 正 交 拖 
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BU e R" 和 Ye RY”, 使 得 
Zr 0 | r 
0 0 
T n-r 
其 中 X, = diag (01,... , 0r), 01 2 oo 2 :: 2 G, > 0. 
W 4e R™"** 有 上 述 定 理 所 述 的 奇异 值 分 解 ， 那 么 我 们 称 数 
01 Z 02 2 ::: Or > Or = = On = 0 
为 4 的 奇异 值 ; V 的 列 向 量 称 为 4 的 右 奇异 向 量 ; U 的 列 向 量 称 
为 4 的 左 奇异 向 最. 
作为 定理 7.1.3 的 简单 推论 ， 我 们 有 


推论 7.1.1 设 4, B e R™*", 并 假定 它们 的 奇异 值 分 别 为 


01>… 20. 和 nT, 


UTAV = 


了 
m-r 


则 有 


ci 一 Ti 和 4- 了 >， ¿=1,2,... ,n. 


这 一 结果 表明 奇异 值 亦 是 十 分 良 态 的 . 


87.2 ”对称 QR 方法 


对 称 QR 方法 就 是 求解 对 称 特征 值 问题 的 QR 方法 , 是 将 QR 
方法 应 用 于 对 称 矩 阵 ， 并 且 充分 利用 其 对 称 性 而 得 到 的 . 


7.2.1 三 对 角 化 


E 4 En 阶 实 对 称 矩 阵 ， 并 假定 4 的 上 Hessenberg 分 解 为 
QTAQ = T, 
其 中 @ 是 正 交 和 矩阵 ， 全 是 上 Hessenberg 矩阵 ， 则 容易 验证 了 必 
是 对 称 三 对 角 矩 阵 . 因此 , 对 一 个 实 对 称 矩 阵 而 言 , 上 Hessenberg 
化 实质 上 就 是 将 其 三 对 角 化 ， 如 果 在 约 化 过 程 中 再 充分 利用 其 对 
称 性 ， 还 可 使 约 化 的 运算 量 大 为 减少 . 
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将 4 作 如 下 分 块 
| al vf | 1 
A = ? 
vo À | n-i 
1 n—1 
从 约 化 一 个 矩阵 为 上 Hessenberg 矩阵 的 Householder 变换 法 不 难 
推出 ， 利 用 Householder 变换 将 4 约 化 为 对 称 三 对 角 和 矩阵 的 第 
步 为 : 
(1) 计算 Householder 变换 H, € Rt"™-K)x(n-) 使 得 
Furi = brer, Bk € R; 


(2) 计算 
1 | a 由 | _ 5 5 
In-k-1 ._ 
如 果 用 上 述 约 化 过 程 所 产生 的 ar, Bk 和 H, 定义 
a ñ 0 
T = fi a > , 
ie ` Bn-1 
0 Bn-1 Cn 
Q= HiH- Ha-2, E, = diag (I, He), 
”其 中 
Qn-1 Di _ 二 
| Bai an | = Hn-2An-3Hn-2, 
则 有 


QTAQ = T. 
从 上 述 约 化 过 程 容易 看 出 ， 第 上 步 约 化 的 主要 工作 量 是 计算 
H TA Hk. 设 
H ,=I-BuoeT, ve R", 
则 利用 4%-1 的 对 称 性 ， 易 得 
E&A..FE, = Ak_1 — vw? — wu!, 
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其 中 
w=u— ibatu), u = BÅk—v. 
不 难 算出 ， 利 用 这 一 等 式 来 计算 ， 其 运算 量 仅 为 4(n — k)’. 
这 样 ， 我 们 就 得 到 如 下 的 算法 . 


算法 7.2.1 (计算 三 对 角 分 解 。 Householder 变换 法 ) 
fork=1:n—2 

[v, 8] = house (A(k + 1 : n, k)) 

u= bA(k+1:n,k+1:n)w 

w = u — (BuYu/2)u 

A(k+1,k) = ||A(k + 1 : n, k)||2 

A(k,k+ 1) = A(k + 1,k) 

A(k+1:n, k+1:n) 

=A(k+1:n,k+1:n) —uuT — wT 

end 
该 算法 的 运算 量 为 4/3 次 乘法 运算 , 而 非 对 称 矩 阵 的 上 Hes- 


senberg 化 需要 的 运算 量 为 10n3/3; 如 果 需 要 将 变换 矩阵 累积 起 
来 ， 则 还 需 再 增加 运算 量 4n3/3. 


7.2.2 ERF QR 和 迭代 


完成 了 把 4 约 化 为 三 对 角 和 矩阵 了 的 任务 之 后 , 我 们 的 下 一 个 
任务 就 是 选取 适当 的 位 移 进 行 QR 迭代. 由 于 此 时 4 的 特征 值 均 
为 实数 ， 因 而 再 使 用 双重 步 位 移 就 完全 没有 必要 了 ， 只 需 进 行 单 


步 位 移 即 可 . 
考虑 带 原点 位 移 的 QR 迭代 
Tk — pI = QeRk, (QR 分解 ) (1.21) 
Tk+1 = RkQr + prl, k=0,1,..., 


EF T = 了 是 对 称 三 对 角 和 矩阵 . 由 于 QR ERE Hessenberg 
形 和 对 称 性 的 特点 ， 我 们 立即 可 知 上 述 和 迭代 产生 的 T, 都 是 对 称 
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三 对 角 和 矩阵 ， 与 非 对 称 QR 方法 一 样 ， 这 里 我 们 也 假定 迭代 中 所 
出 现 的 T, 均 是 不 可 约 的 ， 即 其 次 对 角 元 均 不 为 零 . 
我 们 先 来 讨论 如 何 选取 位 移 px 的 问题 . 从 非 对 称 QR 迭代 
的 讨论 可 知 ， 最 简单 的 做 法 是 取 jv = T(n n). 然而 ， 更 好 的 做 
法 是 取 jx 为 矩阵 
Tn —1l:n n—- 1:n) = | ani Ên- | 


Bn-1 Qn 


的 两 个 特征 值 之 中 靠近 an 的 那 一 个 ， 即 取 


Hk = an + ó — sgn (6) /ó2 +P, (7.2.2) 
HF ô = (an_1 一 Qn)/2. 这 就 是 著名 的 Wilkinson 位 移 ， Wilkinson 
曾经 证 明了 这 两 种 位 移 最 终 都 是 三 次 收敛 的 ， 并 且说 明了 为 什么 
后 者 比 前 者 好 (参见 [12]). 

再 来 考虑 如 何 具体 实现 一 次 对 称 QR 迭代: 

T-pI=QR, T=RQ+HuI. (7.2.3) 
当然 我 们 可 以 利用 Givens 变换 来 直接 实现 了 一 uI 的 QR 分 解 ， 
进而 完成 一 步 迷 代 . 但 是 ， 更 漂亮 的 做 法 是 以 隐 含 的 方式 来 实现 
由 TT 到 人 的 变换 . 

大 家 知道 ， 迭 代 (7.2.3) 的 实质 是 用 正 交 相似 变换 将 T 变 为 
T, Bl T = QTTQ. 因此 ， 根 据 定理 6.4.3, T 本质 上 是 由 Q 的 第 一 
列 完全 确定 的 .从 利用 Givens 变换 实现 T - uI 的 QR 分 解 的 计 
算 过 程 可 知 ， Qe = Gie, 其 中 G, = G(1,2,0) 是 通过 (1,2) 平面 
的 旋转 将 T -pI 的 第 一 列 的 第 二 个 元 素 变 为 零 ， 即 0 满足 


cos0 sinô op| _ | * 
-sin cosô bı Fop 


B =G,TGT, 


a 


207 


W B( 例 如 ，n = 4) 有 如 下 形状 
x x 
x x 
+ x 
0 0 
仅 比 对 称 三 对 角 和 矩阵 多 两 个 非 零 元 “+”. 根据 定理 64.3, 只 需 将 
B 用 Givens 变换 约 化 为 三 对 角 和 矩阵 , 即 可 得 到 所 需 的 三 对 角 怎 阵 
T. 这 一 约 化 过 程 不 难 从 下 面 n = 4 的 例子 中 明白 . 


0 0 


B= 


x x + 
x x @ ° 


x 


0 


G. G. x 
p S, ss, 


@ x x 
x x x 
x x x 


x 
0 + 0 0 x 


的 算法 . 


算法 7.2.2 (Wilkinson 位 移 隐 式 对 称 QR 迭代) 
d=(T(n— 1,n — 1) — T(n,n))/2 
n = T(n,n) — T(n,n — 1)2/ (a + sgn (d) Vë +T(n,n — D) 
z = T(1,1) — #; z = T(2,1) 
fork=1:n-1 

[c,s] = givens (z, z) 

T = GTG], 其 中 Ce = G(k,k + 1,0) 

ifk<n-1 

zr=T(k + 1,k); z = T(k + 2, k) 
end 


x x + 
x x @ ° 


x 
x 
x 


end 


该 算法 的 运算 量 为 10n; 如 果 需 要 累积 变换 矩阵 ， 则 还 需 再 增 
加 运算 量 6n?. 此 外 ， 实 际 计 算 时 ， 三 对 角 和 矩阵 了 是 以 两 个 ” 维 
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向 量 来 存储 的 . 
7.2.3” 隐 式 对 称 QR 算法 
类 比 于 非 对 称 QR 算法 ， 综 合 上 面 的 讨论 ， 可 得 如 下 算法 . 
算法 7.2.3 (计算 实 对 称 矩 阵 的 谱 分 解 ， 隐 式 对 称 QR 算法 ) 
(1) 输入 A ( 实 对 称 矩 阵 ). 
(2) 三 对 角 化 ， 用 算法 7.2.1 计算 4 的 三 对 角 分 解 ， 得 
T=U{ĮAU; Q=U. 
(3) 收敛 性 判定 : 
(i) 把 所 有 满足 条 件 
[tai] = tiita] S (ltal + tirpiti))u 
的 tits 和 tii 置 零 ; 
(ü) 确定 最 大 的 非 负 整数 m 和 最 小 的 非 负 整数 1/, 使 


Tu 0 0 l 
T= 0 722 0 n-l-m, 
0 0 Ts3 m 


l n-l-m m 
其 中 Tss 为 对 角 和 矩阵 ， 而 T 为 不 可 约 的 三 对 角 和 矩阵 . 
(ii) 如 果 m = n, 则 输出 有 关 人 信息， 结束 ， 否则 进行 下 一 步 . 
(4) QR ÆR: Xt T 用 算法 7.2.2 迭代 一 次 得 
T> = GTGT, G = G1G2 …Gn_m-I-1. 
(5) Q = Qdiag (l, G, Im), 然后 转 步 (3). 


如 果 只 计算 特征 值 ， 则 该 算法 运算 量 平均 约 为 4m3/3; 如 果 特 
征 值 和 特征 向 量 都 需要 ， 则 运算 量 平均 约 为 9n3. 

这 一 算法 是 矩阵 计算 中 最 潜 亮 的 算法 之 一 ， 误 差分 析 的 结果 
表明 ， 该 算法 计算 得 到 的 特征 值 X...... An 满足 
QT(A + E)Q = diag (X),... , An), 


其 中 Q e RY" 是 正 交 矩阵 ，|| 忆 ll。 = Allku. 再 由 定理 7.1.3 知 ， 
A: l æ Allu, i= 1,2,...,n, 

其 中 à; e 和 (4). 这 也 就 是 说 ， 对 称 QR 算法 计算 得 到 的 特征 值 是 

相当 精确 的 ， 相 对 误差 不 超过 机 器 精度 . 但 值得 注意 的 是 ， 计 算 

得 到 的 特征 向 量 并 不 一 定 亦 有 这 样 的 精度 , 它 和 入; 与 其 他 特征 值 

的 分 离 程度 有 关 . 


87.3 Jacobi 方 法 


Jacobi 方法 是 求实 对 称 矩 阵 全 部 特征 值 和 特征 向 量 的 最 古老 
的 方法 之 一 , 是 由 Jacobi 于 1846 年 首先 提出 的 . 大 家 知道 ,任何 
一 个 实 对 称 矩 阵 都 可 以 通过 正 交 相 似 变换 约 化 为 对 角 阵 . Jacobi 
方法 正 是 利用 实 对 称 矩 阵 的 这 一 特点 ， 用 一 系列 适当 选取 的 平面 
旋转 变换 将 一 个 给 定 的 实 对 称 撼 阵 逐步 约 化 为 对 角 阵 . 从 收敛 速 
度 上 来 讲 ， Jacobi 方法 与 著名 的 对 称 QR 方法 来 比 ， 相 差 甚 远 . 
然而 ， 由 于 Jacobi 方法 编程 简单 ， 并 行 效率 很 高 的 特点 ， 近 年 来 
又 重新 受到 人 们 的 重视 此外， 对 于 某 些 几乎 是 对 角形 的 实 对 称 
和 矩阵， Jacobi 方法 亦 是 十 分 有 效 的 . 


7.3.1 经典 Jacobi 方法 
设 4 = [aj] 是 n x n ERRER. Jacobi 方法 的 目标 就 是 
将 4 的 非 对 角 “ 范 数 ” | 


BE = (MAY) = E 4) — Gan 
i=l i=l ;¿— 
iyi 
逐步 约 化 为 零 . 所 用 的 基本 工具 就 是 如 下 的 平面 旋转 变换 
J(p,q,0) = I + (cos 0 — 1)(epez 十 ege] ) + sin b(ered 一 egez ), 
(7.3.2) 
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其 中 假定 p < q, ex 表示 单位 矩阵 的 第 上 列 . 这 里 我 们 称 这 一 平面 
旋转 变换 为 (p,9) 平面 的 Jacobi 变换 . Jacobi 方法 一 次 约 化 的 基 
本 步 又 是 : 

(1) 选择 旋转 平面 (p,9), 1 < p <q < n; 

(2) 确定 旋转 角 0 使 


Bpp Bpa € s 7 app Gpq c 3 
Ë 各 | -| - | |> wl | (7.3.3) 
是 对 角 阵 (BP bo = B; = 0), 其 中 c = cos9,s = sin 8; 
(3) 对 A 作 相 似 变 换 : B= [B] = JTAJ, tri: J = J(p,q,9). 
注意 4 与 B 只 在 第 p 行 ( 列 ) 和 第 g 行 ( 列 ) 不 同 它们 之 间 
有 如 下 关系 : 
Pip = bpi = CQip — sig i$ p,q, 
Biq = Bá = say + Caig,  tZ p,q, 
pp = czapp — 2scoyq 十 say， (7.3.4) 
Baa = s?app + 2scapg + Qag» 
Bpa = Bap = (2 — 3s?)ape + sc(app — Cq). 
我 们 暂且 不 考虑 怎样 选取 旋转 平面 (p,9), 先 考虑 在 选 定 (p,q) 之 
后 怎样 计算 s = sing 和 c= cos 0 使 (7.3.3) 中 的 Bpa = bip = 0. 由 
(7.3.4) 的 最 后 一 个 等 式 即 知 ， 这 等 价 于 计算 * 和 ec 使 


ay (@ — 8°) + (app — aog)cs = 0. (7.3.5) 
如 果 ap = 0, 则 只 和 需 取 c= 1,s =0 即 可 . 如果 ap Z 0, WG 
r= C += tan0= 
2apa e 
并 代入 (7.3.5) 可 知 ， 上 是 如 下 二 次 方程 的 解 : 
£ +2rt-1=0. 
这 样 上 的 值 有 两 种 选择 .这 里 我 们 选择 其 绝对 值 较 小 的 根 ， 即 
t= n. (7.3.6) 
Ir|+V1 十 72 
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这 样 选择 保证 了 旋转 角 0 满足 |g| < >, 这 对 Jacobi 方法 的 收敛 性 
是 至 关 重要 的 ,这 点 可 从 下 面 的 收敛 性 分 析 中 看 出 ， 由 (7.3.6) 确 
定 之后，。 和 可 由 下 面 的 公式 确定 


ZA s= tc. (7.3.7) 

现在 我 们 再 来 看 怎样 选取 旋转 平面 . 由 于 Frobenius 范 数 在 
正 交 变 换 下 保持 不 变 ， 故 有 |lBlle = Alr. 另 一 方面 ， 由 (7.3.3) 
可 知 


c= 


app + oq + 27, = Bpp + Baa + 265, = Bop + Pia 
这 样 ， 我 们 有 I 
E(B? = |IBII* — Y 2} 


i=l 
= |All} — 3 aš, + (a2, + a2, — PB2, — 8⁄4) 
i=l 
= E(AP — 2a2 . 
由 于 我 们 的 目标 就 是 使 E(B) 尽 可 能 的 小 , 因此 从 上 式 可 知 ，(p,g) 
的 最 佳 选择 应 使 


lapal = max „lail, (7.3.8) 


即 应 选取 非 对 角 元 素 中 绝对 值 最 大 者 所 在 的 行列 为 旋转 平面 . 
按照 (7.3.8) 来 确定 旋转 平面 (p,q), 再 由 (7.3.6) 和 (7.3.7) 来 
确定 c 和 s 的 方法 就 是 经 典 的 Jacobi 方法 ， 其 基本 迭代 格式 如 
下 ，， 
Ar = [a] = JE Ari k=1,2,..., (7.3.9) 
其 中 Ao = A, 刀 是 对 44_1 应 用 (7.3.6)~(7.3.8) 所 确定 的 Jacobi 
变换 ， 对 于 经 典 Jacobi 方法 ， 我 们 有 如 下 的 收敛 性 定理 . 


定理 7.3.1 存在 4 的 特征 值 的 一 个 排列 入 ,和 2,… ,和 n, 使 
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im Ak = diag (i, À2,... ,Àn). (7.3.10) 
一 oo 


证 明 ”我 们 先 证 随 着 迭代 次 数 k 的 增加 A, 的 非 对 角 “ 范 
HO E(A,) 趋 于 0. 由 前 面 的 讨论 我 们 知道 


E(Axr)? = E(A._1)? — 2(a -0)2， (7.3.11) 
这 里 a- 是 A 的 非 对 角 元 之 中 绝对 值 最 大 者 ， 再 注意 到 
E(Ak_1)? < n(n — 1)(at7!)?, (7.3.12) 
将 (7.3.12) 代入 (7.3.11) 即 有 


B(A)? < (1- S)E(Ak-132, 


其 中 NN = zn(n - 1). 由 此 即 知 lim E(A,) =0 
再 证 存在 4 的 特征 值 的 一 个 排列 和 ,和 2,.…. ,An 使 得 

im a =À, i=1,2,...,n. (7.3.13) 

假定 4 的 互 不 相同 的 特征 值 之 间 的 最 小 距离 为 56, 即 
ó =min{lp — A| : A, € A(A), À Z p). 
任 取 正 歼 e 满 足 。 < 5, 则 由 lim E(A,) = 0 知 , 存在 如 使 六 > ko 
后 有 
五 (4k) < £ < 3 
注意 到 和 (hw。) = 和 (4), 对 和 矩阵 Ars 与 其 对 角 元 作成 的 对 角 阵 
Dro = diag C ... ab)) 

应 用 本 章 87.1 的 定理 7.1.3 即 知 ， 存 在 4 的 特征 值 的 一 个 排列 
AL. sÀn, 使 得 


6 
lA; = a| < IAko — Drolle < EAr) <e< 43, (7314) 
i=1,2,... ,n. 这 样 只 要 能 证 明 上 式 殖 含 着 
|N — alt) <e, i=1,2,...,n, (7.3.15) 
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则 由 归纳 法 原理 即 知 对 一 切 的 上 > ko 有 
là; 一 af 人 | <e, i=1,2,...,n, 
从 而 证 明了 (7.3.13) 成 立 . 
下 面 证 明 (7.3.14) 蕴含 着 (7.3.15). 由 于 Arri 与 Aro 的 对 角 
元 素 只 可 能 有 两 个 不 同 (ath 和 att) 故 只 需 证 明 (7.3.15) 
对 ;= p,q 成 立即 可 ， 由 (7.3.4), (7.3.6) 和 (7.3.7) 可 知 


atd = af + (-2taf9 + F(ab — af) 
= alko) + e (—2tako + t(1 — )o[Ë)) 
— = alko) — tako), 
其 中 用 到 了 (73.5) ARA PaL - ak) — (1 — Pago. 同 理 
可 证 
alkot) = alko) + ta (Ë). (7.3.16) 
这 样 ， 对 任何 X Z Ap 我 们 有 
laltotD) — Aj] = Jako) — Ap + Àp — À; + talko)| 
> |Xp — Aj| — ja to) 一 Ap| — [tlE(Ako) 
>2ô8-E-—E 
> 2e, (7.3.17) 
这 里 用 到 了 [t| < 1. 此 外 , 由 于 和 (Ako+1) = AA) 和 E(Ako+1) <E, 
因此 应 用 本 童 87.1 的 定理 7.1.3 知 ， ap 必须 与 4 的 某 个 特 
征 值 之 间 的 距离 小 于 <. 这 样 ， 结 合 (7.3.17) 即 知 (7.3.15) 对 i=p 
成 立 ， 同样 ， 从 (7.3.16) 出 发 可 推出 (7.3.15) 对 i = q 亦 成 立 ， 口 


从 这 一 定理 的 证 明 我 们 可 以 看 出 ， 我 们 选择 |t| < 1 对 Jacobi 
方法 的 收敛 起 了 至 关 重 要 的 作用 ， 它 保证 了 迭代 产生 的 每 一 个 对 
角 元 a(*) 将 目标 一 致 地 趋向 于 4 的 某 一 固定 的 特征 值 . 此外， 这 
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一 定理 的 证 明 亦 给 出 Jacobi 方法 的 收敛 速度 的 一 个 粗略 的 估计 : 
E(Ak)2 < (1 — +) E(Ao)2. (7.3.18) 


这 表明 经 典 Jacobi 方法 是 线性 收敛 的 ， 然 而， 实际 上 ， 其 渐进 收 
全 速度 是 二 次 ， 更 具体 一 点 讲 ， 我 们 可 以 证 明 ， 存 在 常数 c 使 得 

E(Ak+N) < cE(Ak)2 (7.3.19) 
对 充分 大 的 自然 数 大 成 立 . 关于 这 一 结果 的 证 明 ， 有 兴趣 的 读者 
可 以 参看 Golub 和 Van Loan 合 著 的 《和 矩阵 计算 》 的 第 八 章 及 所 
引用 的 参考 文献 . 

这 里 需 说 明 的 一 点 是 , 通常 习惯 上 将 入 = n(n 一 1)/2 次 Jacobi 
迭代 称 作 一 次 “扫描 ”. 因而 (7.3.19) 说 明 ， 至 某 一 时 刻 之 后 ,每 扫 
描 一 次 ， 其 非 对 角 “ 范 数 ” 将 以 平方 收敛 的 速度 接近 于 0. 请 看 如 
FKA. 


例 7.3.1 应 用 经 典 Jacobi 方法 于 矩阵 
1 1 


A O N me 
[=l 
i 
° 


其 结果 如 下 : 


7.3.2 ”循环 Jacobi 方法 及 其 变形 
大 家 已 经 看 到 ， 经 典 Jacobi 方法 每 进行 一 次 相似 变换 ， 所 需 
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的 运算 量 仅 为 O(n), 而 确定 旋转 平面 (p,q) 却 需要 进行 n(n — 1)/2 
个 元 素 之 间 的 比较 . 因此， 经典 Jacobi 方法 的 大 部 分 时 间 用 在 了 
寻找 最 佳 的 旋转 平面 上 , 这 是 得 不 偿 失 的 . 为 了 避免 这 样 的 问题 ， 
一 种 简单 的 方法 就 是 我 们 不 去 寻找 最 佳 的 旋转 平面 ， 而 是 在 一 次 
扫描 中 ， 按 照 某 种 预先 指定 的 顺序 对 每 个 非 对 角 元 素 恰 好 消去 一 
K. 这 就 是 所 谓 的 循环 Jacobi 方法 . 最 自然 的 循环 Jacobi 方法 是 
按 如 下 的 顺序 来 扫描 : 

(p,q) = (1,2),... , (1,n); (2,3),... ,(2,n);... ; (n ~ 1,n). 

对 于 这 种 特殊 的 循环 Jacobi 方法 已 经 证 明了 它 是 渐 近 平方 收 
AH. 但 是 ， 由 于 这 里 不 需 寻 找 最 佳 的 旋转 平面 ， 因 此 要 比 经 典 
Jacobi 方法 快 得 多 . 


例 7.3.2 应 用 循环 Jacobi 方法 于 例 7.3.1 的 和 矩阵 上 ， 其 收敛 
情况 如 下 表 所 示 : 


扫描 次 数 | O(E(Akn)) 


在 实际 计算 中 用 的 最 多 的 是 上 述 特殊 循环 Jacobi 方法 的 一 种 
变形 一 “过 关 ”Jacobi 方法 : 首先 确定 一 个 “ 关 值 ”( 即 一 个 正 数 )， 
在 特殊 循环 的 一 次 扫描 中 ， 只 对 那些 绝对 值 超过 “ 关 值 ”的 非 对 
角 元 素 所 在 的 平面 进行 Jacobi 变换 ， 这 样 反复 扫描 ， 当 所 有 的 非 
对 角 元 素 的 绝对 值 都 不 超过 “ 关 值 ” 时 ,减少 “ 关 值 ”, 再 按 这 新 的 
“ 关 值 ” 进行 扫描 ; 如 此 继续 ， 直 至 “ 关 值 ” 充分 小 而 达到 过 程 的 收 
A. 常用 的 “ 关 值 ” 是 按 如 下 方式 选取 的 

bo = E(A), ôk = a, k=1,2,..., 
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其 中 o >x 是 一 个 固定 的 常数 ， 可 以 证 明 : 按照 这 样 选取 的 “ 关 
值 ", 过 关 Jacobi 方法 是 收敛 的 . 这 一 结果 的 证 明 ， 请 读者 自己 作 
为 练习 补 出 . 

Jacobi 方法 的 优点 之 一 就 是 计算 特征 向 量 特别 方便 ， 如 果 经 
过 此 次 变换 后 迭代 停止 了 ， 则 我 们 有 

Ar = JEJ a JIA J Jp. 
w 
Qk = AJ: Jk, 
则 有 
AQr = Qk Ak. 

由 于 Ak 的 非 对 角 元 素 已 经 非常 小 ， 其 对 角 元 素 就 是 4 的 很 好 的 
近似 特征 值 ， 所 以 上 式 表 明和 矩阵 Q, 的 列 向 量 就 是 4 的 很 好 的 近 
似 特 征 向 量 ， 并 且 所 有 的 近似 特征 向 量 都 是 正 交 规范 的 .这 样 要 
计算 4 的 特征 向 量 ， 只 需 将 变换 矩阵 J, 累积 起 来 即 可 ， 累 积 可 
以 在 迭代 过 程 中 同时 进行 . 


7.3.3 ”Jacobi 方法 的 并 行 方 案 


近来 人 们 对 古老 的 Jacobi 方法 感 兴趣 的 主要 原因 之 一 是 因为 
Jacobi 方法 容易 并 行 化 . 这 里 我 们 仅 以 一 个 例子 来 说 明 Jacobi Jr 
法 的 这 一 特点 ， 设 4 是 8 x 8 的 实 对 称 和 矩阵 ， 而 我 们 是 在 一 个 有 
4 个 处 理 器 的 并 行 机 上 求 这 一 矩阵 的 特征 值 和 特征 向 量 ， 我 们 可 
以 把 用 于 一 次 扫描 的 28 个 平面 旋转 变换 分 为 7 组 : 

第 一 组 : (1,2), (3,4), (5,6), (7,8); 

WZA: (1,3), (2,4), (5,7), (6,8); 

第 三 组 : (1,4), (2,3), (5,8), (6,7); 

第 四 组 : (1,5), (2,6), (3,7), (4,8); 

PEA: (1,6), (2,5), (3,8), (4,7); 

第 六 组 : (1,7), (2,8), (3,5), (4,6); 
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第 七 组 : (1,8), (2,7), (3,6), (4,5). 

按 这 样 分 组 之 后 ,每 组 内 的 四 个 旋转 变换 同时 分 配给 四 个 处 理 
器 分 别 进行 . 例如 第 一 组 中 的 四 个 变换 J(2i 一 1,2i,0;),i = 1,2,3,4, 
可 以 同时 独立 地 确定 ， 这 是 因为 在 对 4 进行 其 中 任 一 个 平面 的 
相似 变换 时 ， 并 不 影响 决定 其 余 三 个 变换 的 2 x 2 子 和 矩阵 .例如 
J(1,2,0,)TAJ(1,2,0,) 并 不 改变 确定 (3,4), (5,6) 和 (7,8) 平面 之 
内 的 旋转 变换 的 2 x 2 矩阵 .然后 计算 


A = AJ(1,2,0), A = AJ(3,4,02), 
A = AJ(5,6,03), A = AJ(7,8,04) 
亦 可 在 四 个 处 理 器 上 同时 进行 . 同样 ， 计 算 | 
A = J(1,2,0,)1 A, A = J(3,4,0,)1 A, 
A = J(5,6,0s)1 A, A= J(7,8,0,)T A 


亦 可 在 四 个 处 理 器 上 分 别 进行 . 由 此 可 见 Jacobi 方法 的 并 行 效率 
是 很 高 的 ， 就 这 一 例子 而 言 ， 其 所 需 计 算 时 间 仅 是 单机 的 1/4. 


87.4 二 分 法 
这 一 节 我 们 来 介绍 求 一 个 实 对 称 三 对 角 和 矩阵 的 任意 指定 特征 


值 的 二 分 法 . 将 二 分 法 与 三 对 角 化 技巧 相 结合 , 就 可 得 到 求 任意 一 
个 实 对 称 和 矩阵 的 任意 指定 特征 什 和 对 应 的 特征 向 量 的 数值 方法 . 


a fo 
Be ox bs 
T= 
C Bn 
Bn an 
是 一 个 给 定 的 实 对 称 三 对 角 和 矩阵 ， 我们 来 考虑 T 的 特征 值 的 计 
A. 不 失 一 般 性 ， 我 们 可 以 假定 A: #0, i = 2…. ,n, MBRET Æ 
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不 可 约 的 对 称 三 对 角 和 矩阵 ， 否 则 ， 可 将 了 分 为 几 个 阶 数 更 小 的 不 
可 约 对 称 三 对 角 和 矩阵 ， 
W pi(A) 为 工 - XI 的 i 阶 磊 序 主子 式 ， 则 由 三 对 角 和 矩阵 的 特 
点 和 行列 式 的 性 质 ， 易 证 p (A) 满足 下 面 的 三 项 递 推 公式 : 
Pp(N=El ， PPOA=al 一 入 
p (À) = (ai — A)pi-1 (À) 一 pi-2z(A)， (7.4.1) 
1 = 2,3,...,n. 
由 于 了 是 实 对 称 的 ， 故 多 项 式 m(A) (i = 1,2,... ,n) 的 根 都 是 实 
的 . 而且， 这 些 多 项 式 还 有 如 下 定理 所 述 的 一 些 重要 性 质 . 


定理 7.4.1 设 pi( 和 ) 如 (7.4.1) FEX, WA: 

(1) 存在 正 数 M, 使 当 入 > M Bf, £ p.(—2)) > 0 I p (À) 的 
符号 为 (1)’ 

(2) 相 邻 两 个 多 项 式 没有 公共 根 ; 

(3) Æ pi(4) = 0, W p. i (u)pi+i (B) < 0; 

(4) Pi(A) 的 根 全 是 单 重 的 ， 并 且 Pi(A) 的 根 严格 分 隔 pa i (Q) 
的 根 . 

证 明 由 于 pi(A) 是 TA 和 的 第 i 阶 顺 序 主子 式 ， 故 其 首 项 
为 (-DiX'. 由 此 立即 知 (1) 成 立 . 

(2) 可 用 反 证 法 证 明 . 假设 存在 某 个 i 使 得 六 -1(A) 与 p (À) 
有 公共 根 u, BP pi-1(4) = pi(p) = 0, 则 由 (7.4.1) 得 

0= pi(p) = (ai — n)pi-i(n) — PYpi-2(p) = -Pè pi-2 (4). 
但 我 们 已 假定 Bi Z 0, 故 上 式 蕴 含 着 p. (u) = 0. XF, H 

pi-2(4) = pi-1(#) = 0 

又 可 推出 p;_s(4) = 0. 如 此 下 去 ， 最 后 就 可 推出 polu) = 0, 这 与 
po(p) 三 1 和 矛盾， 于 是 (2) WE. 

(3) 可 由 本 定理 的 结论 (2) 和 (7.4.1) 立即 推出 ， 设 mu) = 0, 
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则 
pisi ()pi-i (u) = -23 (pi-1(p)) < 0. 

最 后 我 们 用 归纳 法 来 证 明 (4). i = 1 Bf, p (A) =a — À, a 
是 p (À) 的 根 . BA, pa) = —82 < 0, 而 本 定理 的 结论 (1) 
蕴含 着 当 和 为 充分 大 的 正 数 时 有 plà) 和 mA 均 大 于 零 ， 因 
此 ， 在 (—oco, a1) 与 (ai, +oo) 之 内 各 有 pA) 的 一 个 根 . 这 样 ， 
对 i=2 我们 已 证 (4) 成 立 . 

现 假定 我 们 已 经 证 明了 (4) 对 i = k 成立 ， 即 假定 已 经 证 明 
了 pk-i(A) 和 pk( 和 ) 的 根 都 是 单 根 ， 并 且 pk_i(A) 的 根 严格 分 踊 
Px( 和 ) 的 根 . 设 p.- i (À) 和 pr( 和 ) 的 根 分 别 为 

ny < vg < < Vk- Ñ p < pz < ° < hk. 


则 由 妇 纳 法 假定 有 


pi < i < h2 < t < -it < Uk—1 < hk: © (7.4.2) 
应 用 三 项 递 推 公式 (7.4.1) 可 得 
prt1 (n;) = -p iPr- (n;), J = 1, 2, ... k. (7.4.3) 


由 本 定理 的 结论 (1) 和 pe-1(w) = 0 (1 < 7 < k - 1) 容易 推出 ， 
(7.4.2) 蕴含 着 
(1) pe-1(p) > 0, j=1,2,...,k. 
从 而 ， 由 (7.4.3) 得 
(—l)pka(u;) >0, j=1,2,...,k. 
再 注意 到 对 充分 大 的 正 数 上 有 
psti(—p) >0 和 (-TDt+lpkri( > 0， 
即 知 在 区 间 
(~00, p1), (p1 H2), On Dk), (Hx, +00) 
的 内 部 都 有 mx+i(A) 的 根 ， 这 里 共有 大 + 1 个 区 间 ， 而 pa (A) 只 
有 大 上 + 工 个 根 ， 因 此 ， 在 每 个 区 间 内 有 且 仅 有 p. (A) 的 一 个 根 . 
由 妇 纳 法 原理 知 (4) 得 证 . 口 
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对 任意 给 定 的 实数 p, 定义 sk(A) 是 数列 po(u),... prlu) 的 
变 号 数 ， 这 里 规定 : 若 plu) = 0, 则 pi(p) 与 pi-1(p) 同 号 (根据 
定理 7.4.1 的 结论 (2) 知 ， 此 时 piil) 不 可 能 亦 为 零 ). AT FR 
这 一 概念 ， 现 举例 如 下 . 设 


1 1 0 
T=|1 1 1l, 
0 1 1 
则 有 
Po = 1, 
Di(A) = 1-2), 


p| (À) = (1 — 3)? — 1, 
ps (À) = (1 — À) — 2(1 — A). 
对 于 /= 1 我 们 有 
pll)=1, pi(l)=0, p.(1)=-1, ps(1) =0. 
按 规定 ， pi(1) 与 po(1) 同 号 ，ps(1) 与 pp(1) 同 号 ， 从 而 这 一 数 
列 的 变 号 数 为 33(1) = 1. 
定理 7.4.2 ET 为 不 可 约 对 称 三 角 阵 的 假定 下 ， sx(j) 恰 
好 是 p. (À) 在 区 间 (—co, u) 内 根 的 个 数 (1 < k <n). 


证 明 ”我 们 用 归纳 法 来 证 明 . 当 上 k= 1 时 ， 结 论 显然 成 立 . 
RREH k=l 时 定理 成 立 . B pl) 和 p+ (À) 的 根 分 别 为 
p < H2 <... < fil h <À < < ir 
则 由 定理 7.4.1 的 结论 (4) 知 
ài < pi < Àa < p <+ < p < Aita (7.4.4) 
再 设 si(p) = m, 则 由 归纳 法 假定 有 
pm < pS #m+1- 
这 样 由 (7.4.4) 知 u 所 在 的 位 置 有 两 种 可 能 性 : 
Àm < Hm < H K Àm+1 EÑ Àm+1 < H S pmtl: 
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注意 到 , 
+1 
pp) = Tn pra(a) = [A - u), (7.4.5) 
i=l i=1 


则 当 Am < Hm < H S Xm+l 成 立时 , 易 知 pi(p) 5 pi (u) 同 号 ( 即 
使 当 a = Amy, 按 规 定 亦 有 此 二 数 同 号 ), 这 样 si (u) = si(n) = 
m, 这 正好 是 pi i (À) 在 区 间 (一 00, u) 之 内 根 的 个 数 . 

当 Àm+1 < H Lm+tl 成 立时 , 我 们 分 两 种 情况 来 证 si (u) = 
m+1. (a) 车 Jj < pmti, 则 由 (7.4.5) 知 ， 此 时 pr(p) 与 puri(p) È 
号 ， 因 而 sii(u) = si(u) + 1 = m + 1; (b) # # = Honor, 则 此 时 
有 plu) = 0, 于 是 按 规定 此 时 pi(u) 与 pi-i(n) 同 号 ， 而 定理 7.4.1 
的 结论 (3) 表明 ， 此 时 pile) 与 pa (a) 异 号 ， 因 此 p. (u) 与 
m(p) 异 号 ， 即 silu) = s1(p) +1= m+1. 这样， 我 们 就 证 明了 
无 论 哪 种 情况 ， 都 有 su (u) 正好 等 于 p i (u) EKE (—co, u) 之 
内 根 的 个 数 ， 由 归纳 法 原理 知 定理 得 证 . u 


在 定理 7.4.2 h k = n 即 得 


推论 7.4.1 若 工 是 不 可 约 对 称 三 对 角 和 矩阵 ， 则 salu) 正好 
是 该 矩阵 在 区 间 (—co, u) 之 内 特征 值 的 个 数 . 


利用 这 一 推论 ， 我 们 可 以 用 二 分 法 来 求 工 的 任何 一 个 指定 的 

特征 值 ， 设 T 的 特征 值 为 

ÀM <À < < Àn, 
则 必 有 

l:l < p(T) < Te. 
现在 假定 我 们 希望 求 7 的 第 m 个 特征 值 Am. RIER b = 
一 Tle, uo = IIT], WI Am 必 在 区 间 [lo, uo] 内 . 取 flo, uo) 的 中 点 
ri = (lo +uo)/2, 并 计算 srlri). Æ sn(71) 2 m, WJ Am € [lo, r1), F 
ÆW = lou = ri; 否则 ，Am € [ruo], 于 是 取 h = r1, u = uo. 
这 样 ， 我 们 得 到 了 一 个 长 度 比 [lo, uo] 减少 一 半 的 区 间 [h,a], E 
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仍然 含有 特征 值 和 wm. 继续 进行 这 一 过 程 ， 经 过 上 次 二 等 分 过 程 ， 
将 得 到 一 个 长 度 为 (wo 一 10)/2* = Tllwo/2*-! 的 区 间 [lk uk], 它 仍 
然 含 有 特征 值 X 这 样 ， 当 上 充分 大 时 ， 这 个 区 间 的 长 度 就 非常 
小 ， 因 此 就 可 取 该 区 间 的 中 点 作为 Am 的 近似 值 . 

大 家 容易 从 上 面 的 二 分 法 看 出 ， 二 分 法 的 主要 工作 量 是 计算 
sn(1)， 而 在 实际 计算 时 sn(p) 不 能 直接 通过 计算 p (u) WERKE 
现 ， 这 是 因为 高 阶 多 项 式 的 计算 容易 发 生 溢出 ， 为 了 避免 这 一 问 
题 的 发 生 ， 我 们 定义 

Pi . 
qO) = IO i= 1,2,...,n. 
利用 (7.4.1) 可 得 
q (À) = n (À) = al 一 入 ， 

B? 
galà) 
由 此 易 知 ， salu) 正好 是 数列 qi(p),… ,gqn(p) 中 负数 的 个 数 ， 这 
样 就 得 到 了 计算 snl) 的 如 下 实用 算法 . 


算法 7.4.1 (计算 变 号 数 ) 
z = [aia2, an] 
y = [0, B2,..., Bn] 
s=0; q=2(1) — # 
fork=1:mn 
if q < Ü 
s=s+1 


q (À) = a; — À 


end 
ifk<n 
ifq=0 
q = |y(k + Dlu 
end 
q= z(k +1) — u — y(k + 1)2/q 
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end 


end 


注意 ， 当 qiil) = 0 时 , 按 规定 此 时 qi-1 应 该 按 正 数 对 待 ， 
因而 我 们 在 算法 7.4.1 中 以 很 小 的 正 数 bilu 代替 了 q (u), 这 实 
质 上 相当 于 在 矩阵 T 中 用 ai- + lpia 代替 了 ai-1. 

如 果 我 们 事先 将 02 算 好 并 存放 起 来 , 则 算法 7.4.1 需要 nm 一 1 
次 除法 运算 和 2n — 1 次 加 减 运 算 . 这 样 ， 如 果 计 算 一 个 特征 值 平 
均 需 要 m 次 二 分 法 ， 则 用 二 分 法 求 一 个 特征 值 的 运算 量 平均 为 
3nm. 因此 ， 用 二 分 法 求 对 称 三 对 角 和 矩阵 的 特征 值 所 花费 的 时 间 
是 很 少 的 . 

此 外 ， 二 分 法 具有 较 大 的 灵活 性 ， 它 既 可 求 某 些 指 定 的 较 大 
或 较 小 的 特征 值 ， 也 可 求 出 某 个 区 闻 内 的 特征 值 ， 而 且 对 各 个 特 
征 值 的 精度 要 求 也 可 以 不 一 样 . 另外 ， 值 得 指出 的 是 ， 误 差分 析 
的 结果 表明 二 分 法 是 非常 稳定 的 ， 而 且 计算 精度 和 所 需 计 算 时 间 
与 特征 值 的 分 高 程度 无 关 ， 详 细 介 绍 这 些 内 容 需 花费 较 多 时 间 ， 
有 兴趣 的 读者 可 参看 文献 [2]]. 

最 后 我 们 需 说 明 的 一 点 是 ， 当 用 二 分 法 求 得 T 的 某 个 近似 特 
征 值 之 后 ， 如 果 还 需 计 算 其 对 应 的 特征 向 量 的 话 ， 最 好 是 应 用 反 
宕 法 来 计算 . 


87.5 ”分 而 治之 法 


分 而 治之 法 是 求实 对 称 三 对 角 和 矩阵 的 全 部 特征 值 和 特征 向 时 
的 一 种 数值 方法 ， 是 由 Dongarra 和 Sorensen 于 1987 年 首先 提出 
的 ， 其 基本 思想 是 先 将 给 定 的 对 称 三 对 角 和 矩阵“ 分 割 ” 成 2* 个 低 
阶 的 对 称 三 对 角 和 矩阵 ， 然 后 分 别 求 出 每 个 低 阶 的 对 称 三 对 角 和 矩阵 
的 谱 分 解 ; 最 后 再 将 这 些 低 阶 谱 分 解 “ 胶 合 ” 在 一 起 而 得 到 原 矩 阵 
的 谱 分 解 . 因此， 这 一 方法 特别 适用 于 并 行 计算 . 
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7.5.1 分割 


设 
Ql B2 
b2 œ Bs 0 
Bs az ba 


T=  . f (7.5.1) 


0 Bn-1 Qn-! B, 
Bn an 
是 一 个 给 定 的 实 对 称 三 对 角 和 矩阵 . 为 了 下 面 讨 论 方便 ， 我 们 不 妨 
假定 n= 2m. 定义 ve R" 为 
v=(0,...,0, 1, 0, 0,...,0)7, (7.5.2) 
m m+1 
FABER T = T — pvvT, 其 中 9 和 p 是 待定 实数 . 5, T É 
中 间 的 四 个 元 素 为 


Bm+1 一 p8 CQm 二 1 一 po? 
外 ， 其 余 元 素 与 了 完全 一 样 . 因此 ， 假 如 我 们 取 pb = bmt WA 


am — P Bm+1 — P | 


-|n 0 T 
T= | 0 T, | +p", (7.5.3) 
其 中 

al fb 

bB œa Ap 0 


Bs as hb 
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Õm+1 Bm+2 


Bm+2 am+2 Bm+3 0 
T, = Bm+3 `. `. N 
0 E: an-l1 Ên 
Bn Qn 


这 里 Gm = am — p, Gm+l = am+l 一 002. 

这 样 ， 我 们 就 把 T 分 割 为 一 个 分 块 矩阵 和 一 个 秩 1 矩阵 的 
和 . 如 果 需 要 ， 还 可 以 对 T, 和 T; 分 别 进行 形 如 (7.5.3) 的 分 割 ， 
如 此 下 去 ， 就 可 将 了 分 割 为 2* F. 

7.5.2 RE 

假定 我 们 已 经 求 得 于 和 T 的 谱 分 解 

QIT,Q: = Di， QI T,Q> = Də, 

其 中 Q, 和 Q; 是 m 阶 正 交 和 矩阵 ， Di 和 D, EHAE RA, 
我 们 下 面 的 任务 就 是 利用 T 和 T 的 谱 分 解 来 求 出 T 的 谱 分 解 ， 
BREZE V, 使 得 


VTTV = diag (A1,... , Àn). (7.5.4) 
令 
s= |° 0 | 
0 Q 
则 " 
or 
0 Q 0 T, 0 Q 
= D+ pzz", (7.5.5) 
其 中 


z=UTv, D= diag(D!, Də). 


这 样 一 来 , 欲求 了 的 谱 分 解 的 问题 , 就 归结 为 求 忆 +pzz7 的 谱 分 解 
的 问题 . 因此 , 下 面 我 们 就 来 考虑 如 何 快 速 稳定 地 求 矩 阵 刀 +pzzf 
的 谱 分 解 . 


引 理 7.5.1 设 D=diag(di,...,dn)€ Rn*" 满足 di>ds> 
… > dn, 并 假定 p 是 一 个 非 零 实数 ，z e R" 的 分 量 均 不 为 零 . 
mRuc R" 和 和 ER 满足 
(D+pzzT)u = Àu, u Z 0, 
则 zTu #0, ME D-M 非 奇 异 . 


证 明 3 zTu = 0, MJ Du = Xu, u Z 0, El à Æ D 的 特征 
值 ，% 是 属于 和 的 特征 向 量 . 而 已 知 D 是 对 角 元 素 互 不 相同 的 
对 角 和 矩阵 ， 故 必 有 某 个 i 使 得 d, = A, MHE u = aei, a Z 0. 这 样 
便 有 

0 = zTu = azTei， 

这 与 z 的 分 量 均 不 为 零 的 假定 矛盾 . 因此 ， 必 有 zu Z 0. 

此 外 ,车 D - M 奇异 ， 则 必 有 某 个 i, 使 得 ef (D — M) = 0; 
从 而 有 ' 

0=eT(D - Au= —pzTuel z, 

但 pzTwu Z 0, WUA elz = 0, 这 亦 与 z 的 分 量 均 不 为 零 矛 盾 ， 从 
而 必 有 D 一 和 I 非 奇异 . D 


定理 7.5.1 在 引 理 7.5.1 的 假设 条 件 下 , 再 假定 D+pzz7 的 

谱 分 解 为 
VT(D + pzzT)V = diag (A,... ,Mn), 

其 中 Y = [v1,.…. ,vn] EXER, À, 2 … An WA 

(1) àn.. ,和 hn 正好 是 函数 

F(A) =1+pzI(D — M) "lz 
的 n 个 零点 ; 
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(2) 4 p > 08t, Æ Mh > d > A > d> >- > Àn > dn; MH 
p < 08, # di > À > d> >- > dn > An; 
(3) 存在 常数 ai Z 0, {Ë vi = e (D—-AXI) lz, i = 1,2,3,... ,n. 


证 明 ”由 已 知 条 件 知 ， 
(D + pzz" ju; = Xu, loill = 1. 
于 是 ， 由 引 理 7.5.1 知 ， D 一 和 7 非 奇异 ;从 而 有 
vi = —pzlu (D — ND lz 1=1,2,...,n. (7.5.6) 

这 就 证 明了 (3) 成立， 同时 也 证 明了 D + pzz7 的 特征 值 互 不 相同 
(否则 ， 如 果 à = 和 jy, 则 有 v 与 u; 线性 相关 ， 这 与 v; 与 v; 互相 
正 交 矛 盾 ). | 

此 外 ， 在 (7.5.6) 两 边 左 乘 27, 并 注意 到 zTu, Z 0, WA 

1= -pzT(D - ND 1z, 
BD 
f(A) =0, ¿=1,2,... ,n, 

这 说 明 Xi 均 是 SOA) 的 零点 .下面 来 证 f(A) 正好 有 个 零点 . 

设 z = (&,.… En)", W 


= & En 


于 是 有 g a 
f'O) = (A t. + ya) 
因此 ， fO) 在 任意 两 个 相 邻 的 极点 di 和 di 之 间 是 严格 单调 
的 : p > 0 时， 严格 增加 ，p < 0 时， 严格 减少 ， 由 此 易 知 ，f( 和 ) 
EFA n TEA, MES o> 0 时 它们 正好 分 别 位 于 如 下 的 n 个 
区 间 
(dn, dn~1), --- , (d2, di), (d, co); 
而 当 p< 0 时 它们 正好 位 于 如 下 的 n 个 区 间 
(—0%0, dn), (dn, dn-1), ... , (d2, dı). 
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由 此 ， 立 即 知 定理 的 结论 (1) 和 (2) R. 口 


从 定理 7.5.1 可 知 ， 在 引 理 7.5.1 的 条 件 下 ， 我 们 可 以 按 如 下 
两 步 快速 、 稳 定 地 求 出 D + pzzT 的 谱 分 解 : 

第 一 步 求 f(A) 的 零点 A... ,和 n. 由 每 个 区 间 (di+1,di) 内 
有 且 仅 有 0) 的 唯一 零点 ， 而 且 SJOA) 在 区 间 内 严格 单调 ， 因 此 
这 一 步 可 以 应 用 Newton 类 型 的 算法 快速 、 稳 定 地 实现 . 

第 二 步 ” 计 算 
_ (D-AXD 1: 
~ (DBD = àid) zle 
这 一 步 当 然 亦 可 快速 、 稳 定 地 实现 . 

对 于 一 般 的 D + pzzT 的 谱 分 解 亦 可 归结 为 定理 7.5.1 所 述 的 
情形 .为 此 ， 我 们 来 构造 性 地 证 明 下 面 的 结果 . 


定理 7.5.2 i$ D = diag(d,,... ,d,) € R"™*",z€ R”, WẸ 
在 正 交 和 矩阵 V 和 {1,... ,n} 的 一 个 排列 z 使 得 

(1) VTz = (6 .60 ,07 满足 总 关 0， ¿i=1,2,...,r; 

(2) VT DV = diag (dr ,drtm) 满足 dro) > di(2) > … > 
di(r). 

证 明 如 果 有 某 两 个 指标 i < j 使 得 d, = dj, 则 我 们 可 取 
(i,j) 坐标 平面 内 的 平面 旋转 变换 P = Gli, j, 0) 使 Pijz 第 j 个 分 
RAF, 而 且 易 证 , 此 时 有 P3DPi; = D. 这 样 进行 若干 步 之 后 , 就 
可 以 找到 一 个 由 一 些 平面 旋转 变换 的 乘积 构成 的 正 交 和 矩阵 V, 使 
得 VIDV = D, MH Vz = (&,-.. €n) WE: # 6 # 0,i Z j, 
则 必 有 di Z dj. 

然后 ， 再 对 Vz 的 分 量 进 行 若干 次 两 两 对 换 ， 可 使 其 所 有 不 
为 零 的 分 量 都 位 于 它 的 前 面 ， 即 可 以 找到 一 个 排列 方 阵 P, 使 

Pi Vz = (Ema) o Emn), 
Ema #0, i=1,2,...,r, 


Vi = 1,2,... ,n. 
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Emni 三 0， i=r+l1,...,n. 
EF m 是 (1,2,... n} 的 一 个 排列 .再 由 P, 的 取 法 知 ， 和 矩阵 
PIVIIDVIP, = PI DP. = diag (dr,(1),... ,dni(n)) 
的 前 > 个 对 角 元 diay... ,dni(r) 互 不 相同 . 
最 后 ,再 对 d, ay... ,dri(r) 进行 若干 次 对 换 ， 使 它们 按 从 大 
到 小 的 次 序 排 列 ， 即 可 找到 一 个 r 阶 排 列 方 阵 P,, 使 
P; diag (di (2). ,dri(r)) P = diag (i,... , Hr), 
其 中 pi,p2,… ,pr 是 由 dea) de) ,dm(r) 从 大 到 小 排列 而 
得 到 的 ， 即 
M > p2 > … > Hr- 
现 令 
V = ViPdiag (Pz, In-r), 
VT;=(6,.... én)", 
VTDV = diag (dr ,dr(n)), 
其 中 7 是 由 P, 和 P, 决定 的 {1,2,.… ,n) 的 一 个 排列 ， 则 有 
&6#0,i=1,2,... rT Enp =: = €, = 0, 
d,o) > dr(2) > dr(r), 
即 定理 得 证 . D 
由 定理 7.5.2 可 知 ， 对 任意 的 D = diag(d,,... ,dn) € RY” 


M ze R" 可 构造 出 一 个 正 交 和 矩阵 V, 使 


D T 0 
yT(D+pzzTJy = | 1 T pu r 
0 D; 


其 中 r nor 
D, = diag (dr ,dr(n)), drq) > … > dwr); 
D = diag (dr{r+1)»--- ,dr(n)); 
w= (1...6), &#0, i=1,2,...,r. 


1 
n-r 
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因此 ， 要 求 D + pzzT 的 谱 分 解 我 们 只 需求 出 Di + pwwT 的 谱 分 
解 即 可 ， 而 后 者 已 是 定理 7.5.1 所 述 的 情形 ， 可 以 快速 、 稳 定 地 求 
出 . 
在 实际 计算 时 ， 当 然 需 事先 给 定 一 个 准则 ， 来 判定 何 时 两 数 
视 作 相等 ， 何 时 一 个 数 视 作 零 . 例如 可 取 
el = (liDllz + lel lizll2)u 

来 作为 误差 限 ， 当 |d; — d,| < sl 时 ， 就 认为 di 和 d, 相等 ， 而 当 
| < sl 时 ， 就 认为 & 为 零 . 

作为 本 节 的 结束 ， 我 们 来 简要 地 说 明 一 下 如 何 将 这 一 方法 应 
用 于 并 行 计算 . 为 了 叙述 简单 起 见 ， 假 定 我 们 是 在 有 4 个 处 理 器 
的 并 行 机 上 计算 一 个 AN 阶 的 对 称 三 对 角 和 矩阵 了 的 谱 分 解 . 整个 
计算 过 程 可 分 为 如 下 四 步 : 

(1) 分 割 


T 
r=-| 


+pu l, T, € R2NX2N ve RY; 
0 T 


T, = | Ta 0 +piwiwl, Tye RN*N, we RN,1= 1,2. 
0 To 
这 步 仅 需 计算 少数 几 个 数 . 

(2) 将 Tua, Do, Ta, T> 分 别 分 配给 四 个 处 理 器 ， 去 求 其 谱 
分 解 (例如 可 用 对 称 QR 方法 实现 ). 

(3) 将 Tl 和 Ti 的 谱 分 解 以 及 Ta 和 Tj 的 谱 分 解 分 别 胶 
合成 T, 和 T, 的 谱 分 解 . 这 一 步 ， 由 于 胶合 过 程 主要 是 求 形 如 
D + pzz T 的 矩阵 的 特征 值 和 特征 向 量 ， 而 这 些 特征 值 的 计算 基本 
上 是 相互 独立 的 ， 因 此 亦 可 分 配给 四 个 处 理 器 同时 进行 . 

(4) 再 将 T, A T, 的 谱 分 解 胶合 成 工 的 谱 分 解 这 步 亦 可 分 
配给 四 个 处 理 器 同时 进行 . 

从 上 面 的 讨论 看 出 , 分 而 治之 法 并 行 的 效率 是 很 高 的 . 因此 ， 
它 适用 于 在 并 行 机 上 求解 大 型 对 称 三 对 角 和 矩阵 的 全 部 特征 值 和 特 
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征 向 量 . 


J # 


1. 设 入 是 对 称 和 矩阵 A 的 任意 一 个 特征 值 . 证 明 ，cond (A) = 
(关于 特征 值 的 条 件数 的 定义 参见 $6.1). 
2. 设 A = [ay] € R” 是 对 称 盾 阵 ， 证 明 每 个 回 盘 


D; = fz € R : |z — a| < (Saz) )} 
ji 


中 至 少 含有 A 的 一 个 特征 值 

3. A, E c R"*" 是 两 个 对 称 和 矩阵， 证 明 , 若 4 正定 且 
14-41lBlls < 1, W 4+ 巨 也 是 正定 的 . 

4. 设 4e R"*". 证 明 4 的 非 零 奇异 值 的 平方 正好 是 对 称 矩 
FE ATA 和 AAT 的 非 零 特征 值 . 

5. 证 明 对 称 矩 阵 的 奇异 值 正好 是 其 特征 值 的 绝对 值 . 

6. 设 4e R"*" 非 奇异 . 证 明 ， (A) = lAll> A7 = Z, 
其 中 o) 和 on 分 别 为 4 的 最 大 和 最 小 奇异 值 . 

7. 设 A € R” (m > n), 并 假定 4 的 奇异 值 为 ci > … 2 
On, 则 有 


oi 二 


max min Mle p Aull 
Xeor 0zue”, lulle xeg’*_. oxuvex |jullz 
其 中 çp 表示 R 中 所 有 上 大 维 子 空间 的 全 体 . 
8. 设 z 是 对 称 和 矩阵 4 对 应 于 特征 值 Ó 的 特征 向 量 ，z 是 zx 
的 一 个 O(e) fl, BP Z= z+ O(e). 证 明 : 
~ ZAZ 2 
R(z) = == = À) + O(e2), 
Bp Z X} A É Rayleigh W R(2) 是 入 的 O(e?) Bi. 
9. 设 4e RO” 是 对 称 的 ， 并 假定 4 有 分 解 4 = QTQT, 其 
中 Q 是 正 交 的 , 是 对 称 三 对 角 和 矩阵 . 试 利用 比较 等 式 AQ = QT 
两 边 列 向 量 所 得 到 的 公式 来 设计 一 个 直接 计算 Q 和 了 的 算法 . 
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10. 设 A e R". 试 给 出 一 个 算法 计算 正 交 和 矩阵 U e R 
和 Ve R" 使 得 
B = [B] = UAV 
是 二 对 角形 和 矩阵 ( 即 Bi; = 0, j#ii+l). 
11. iZ 


a E 
T= | 1 | e R2*2, al Z Q2, e€ < 1, 
E Q2 


并 假定 工 是 以 u= as 为 位 移 进行 了 一 次 对 称 QR RAEE 
阵 ， 试 证 人 (2,1) = O(e3). 如 果 改 用 Wilkinson 位 移 ， 全 (2,1) =? 
12. 证 明 等 式 (7.3.16). 


13. 设 
C= | Qil Cl2 | 
C21 Q22 
是 2x2 的 实 矩阵 ， 先 设计 一 种 算法 来 计算 c = cosg M s= sin8 


使 得 
[eje 


是 2x2 的 实 对 称 矩 阵 ， 然 后 再 将 你 所 设计 的 算法 与 Jacobi 方法 
相 结 合 给 出 计算 C 的 奇异 值 分 解 的 一 种 算法 . 

14. 设 4e C". 先 利用 习题 13 的 方法 , 对 给 定 的 下 标 (p,q) 
设计 一 个 算法 计算 两 个 Jacobi 变换 J(p,q,01) 和 J(p,g,92) 使 得 
矩阵 

B = [8;] = J(p,q,0.)AJ(p,q,0>) 
满足 Bpa = Bap =0; 然后 再 证 明 
E(B} = E(A)° — (a2, + ap), 
其 中 E(-) 如 (7.3.1) 所 定义 . 

15. 利用 习题 14 的 方法 和 结论 ， 设 计 一 个 计算 4e R"*" 的 
奇异 值 分 解 的 Jacobi 型 算法 . 
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16. 设 z, y € R". 给 出 一 种 算法 计算 c= cos 0 和 s = sin 0 使 


lz, y] | ° | 
—8 c 
的 两 列 是 正 交 的 . 
17. 利用 习题 16 的 基本 思想 , 设计 一 个 计算 4 € C™*" 的 奇 
异 值 分 解 的 单 边 Jacobi 型 算法 ， 即 该 算法 计算 正 交 矩阵 V 使 得 


AV 的 列 相互 正 交 . 
18. 设 
al ñ, 
m a k 
A= `. e R"*" 
Bn-1 
Yn—1l Qn 


其 中 yh: > 0. 证 明 存在 对 角 和 矩阵 D, E DAD 为 对 称 三 对 角 
和 矩阵 . 
19. 设 z = (61,.…,én)” 是 不 可 约 对 称 三 对 角 和 矩阵 


% bo 
be o, bs 
T= V. D e Ren 
e Pa 
Bn an 
对 应 于 特征 值 和 的 特征 向 量 ， 证 明 : 
(1) Erén #0; 


(2) ÆR & =1, H 
baceo ñ 6 = (1) pia (Ah í=2,3,...,m, 
其 中 p (À) 由 (7.4.1) 定义 . 
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20. 设 入 是 对 称 三 对 角 和 矩阵 T 的 特征 值 ， 证 明 : 车 和 的 代数 
重 数 为 W| T 的 次 对 角 元 素 至 少 有 上 -1 个 是 零 . 
21. iZ 


_ 1 -2 1 
1 — 1 
1 -2 
(1) 矩阵 了 是 否 为 负 定 的 ? 
(2) 矩阵 了 在 区 间 [—2, 0] 内 有 多 少 特征 值 ? 
22. 设 入 是 对 称 三 对 角 和 矩阵 工 的 近似 特征 值 ， 写 出 利用 反 吞 
法 求 对 应 于 入 的 近似 特征 向 量 的 详细 计算 过 程 . 
23. 设 B = [bu] € R"*" 是 二 对 角 和 矩阵 ( 即 By = 0, j Z 
i,i 十 1). 斌 利用 二 分 法 给 出 一 种 求 B 的 任意 指定 奇异 值 的 数值 方 
法 . 
24. 给 出 一 种 算法 计算 9 e {1, —1) 和 实数 p 满足 p6 = bm 
使 得 min{lam — p|, lam+1 — p|) 达到 最 小 . 
25. 对 D = diag (3, 1, 2, 1, 2) 和 z = (1, 1, 1, 1, 1)7 求 定理 
7.5.2 所 述 的 正 交 和 矩阵 V 和 排列 7. 
26. 设 人 是 正定 的 实 对 称 三 对 角 和 矩阵 . 是 否 按 (7.5.1) 式 分 割 
之 后 得 到 的 T, 和 T; 仍 是 正定 的 ? 
27. 设 A, B e R"*". 证 明 C = A+iB 是 Hermite 和 矩阵 (Bp 
C* = C) 的 充分 与 必要 条 件 是 


A -B 
M= 
P A 


是 对 称 和 矩阵. C 的 特征 值 和 特征 向 量 与 M 的 特征 值 和 特征 向 量 
之 间 有 什么 关系 ? 


上 机 习题 


1. 求实 对 称 三 对 角 和 矩阵 的 全 部 特征 值 及 特征 向 量 . 
(1) 用 你 所 熟悉 的 计算 机 语言 编制 利用 过 关 Jacobi 方法 求实 
对 称 三 对 角 和 矩阵 全 部 特征 值 和 特征 向 量 的 通用 子 程序 . 
(2) 利用 你 所 编制 的 子 程序 求 如 下 和 矩阵 (从 50 到 100 阶 ) 
4 1 


的 全 部 特征 值 和 特征 向 量 . 

2. 求实 对 称 三 对 角 和 矩阵 的 指定 特征 值 及 对 应 的 特征 向 量 . 

(1) 用 你 所 熟悉 的 计算 机 语言 编制 先 利用 二 分 法 求实 对 称 三 
对 角 和 矩阵 指定 特征 值 和 再 利用 反 突 法 求 对 应 特征 向 量 的 通用 子 程 
JF. 

(2) 利用 你 所 编制 的 子 程序 求 如 下 矩阵 


100x100 


的 最 大 和 最 小 特征 值 及 对 应 的 特征 向 量 . 
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